Kieliteknologiat

Kieliteknologian avulla koneet voivat paitsi lukea, analysoida, prosessoida ja tuottaa ihmiskieltä, myös viimeaikaisten tieteellisten edistysaskelten ansiosta kuroa umpeen ihmisen viestinnän ja koneymmärryksen välistä kuilua.

Koska kieli toimii ihmisen vuorovaikutuksen perusvälineenä, LT on saanut valtavan merkityksen eri toimialoilla ja sovelluksissa kääntämisestä ja lokalisoinnista asiakastukeen, terveydenhuoltoon, median luomiseen ja markkinointiin. Yleisiä esimerkkejä tästä teknologiasta ovat puheentunnistus, älykkäät avustajat, konekääntäminen, chatbotit, tekstin yhteenveto ja automaattinen tekstitys.

Mitä kieliteknologian kehittämiseen tarvitaan?

Seuraavassa on joitakin keskeisiä tekijöitä kielipohjaisten välineiden ja palvelujen kehittämisessä.

• Kielitiedot: Tällä tarkoitetaan tekstimuotoista tai puhuttua sisältöä – yhdellä tai useammalla kielellä – joka toimii syöttö- tai koulutusmateriaalina luonnollisen kielen käsittelytehtävissä, kuten tekstin tuottamisessa tai tunteiden analysoinnissa. Nämä tiedot voivat olla peräisin useista eri lähteistä – kirjoista, artikkeleista, sosiaalisen median julkaisuista, puhekeskustelujen transkriptioista jne. Koska ne muodostavat LT:n kehityksen perustan, on olennaisen tärkeää, että ne kerätään tekijänoikeuksia ja henkilötietojen suojaa koskevia säännöksiä täysimääräisesti noudattaen.
• Koulutusalgoritmit ja kielimallit: algoritmit ovat ohjelmistoja, ”reseptit”, joilla luodaan malleja ihmiskielistä. Uusimmat koneoppimisalgoritmit, joissa on huomattava määrä laadukasta dataa, ovat osoittaneet lisääntyneitä kykyjä luoda malleja, jotka edustavat kielitiedoista johdettua tietämystä. Mitä suuremmat resurssit ja mallit ovat, sitä kattavampia ja yleisempiä niiden sovellukset ovat.
• Laskennallinen teho: Huomattavia laskentaresursseja tarvitaan erityisesti kielimallien luomisessa, jossa suurteholaskenta ja vankat pilvi-infrastruktuurit ovat ratkaisevan tärkeitä.
• Inhimillinen asiantuntemus: LT:n onnistuminen edellyttää yhteistyötä kielitieteilijöiden, datatieteilijöiden, atk-insinöörien ja verkkotunnusasiantuntijoiden välillä.

Mitä Eurooppa tekee kieliteknologian kehittämiseksi?

Euroopassa on monimutkainen kielimaisema. Euroopan unionin perusoikeuskirjassa kielletään kieleen perustuva syrjintä ja velvoitetaan EU kunnioittamaan kielellistä monimuotoisuutta. Vastuullisuus, avoimuus, oikeudenmukaisuus ja arvojemme kunnioittaminen ovat vain muutamia sen eettisistä vaikutuksista. Nämä oikeudet ja periaatteet voidaan taata vain LT:n puolueettomalla käytöllä.

Euroopan teknologiateollisuudella on keskeinen rooli Euroopan strategisessa ja teknologisessa riippumattomuudessa, jota olisi edelleen vahvistettava. Erityiset markkinatarpeemme tunnetaan parhaiten eurooppalaisissa LT p roviders -yrityksissä, joista sadat on lueteltu eTranslation-palvelujen luettelossa.

Julkisesti saatavilla olevat ratkaisut, mukaan lukien Euroopan komission tarjoamat välineet ja palvelut, täydentävät markkinatarjontaa ja korjaavat puutteita vähäresurssisten kielten teknologiatuessa. Nämä perusratkaisut – konekääntäminen (eTranslation), nimettyjen yksiköiden tunnistaminen, yhteenveto, puheen transkriptio ja tietojen pseudonymisointi yleisen tietosuoja-asetuksen noudattamiseksi – ovat kaikkien eurooppalaisten julkishallintojen ja pienten ja keskisuurten yritysten saatavilla kaikilla virallisilla kielillä.

Eurooppalainen kieliverkko (ELG) perusti Horisontti 2020 -ohjelman puitteissa keskitetyn asiointipisteen erikoistuneille kieliteknologian ratkaisuille. Pyrkimykset levittämiseen ja yhteisöjen rakentamiseen ovat osaltaan edistäneet yhteisymmärrystä tarpeesta yhdistää julkiset ja yksityiset voimat ja hyödyntää molempien maailmojen parhaita puolia tutkimuksessa ja käyttöönotossa.

Horisontti Eurooppa -ohjelmalla edistetään tutkimusta ja innovointia tukemalla huipputason edistyneen kieliteknologian, myös suurten kielimallien, kehittämistä. Nämä mallit, jotka on suunniteltu parantamaan ihmisen ja koneen välistä vuorovaikutusta, ovat monikielisiä ominaisuuksia, käsittelevät useita syöttötapoja, hallitsevat vinoutumia ja osoittavat kontekstitietoisuutta.

European Language Equality (ELE) -aloitteessa, joka on Euroopan parlamentin käynnistämä pilottihanke/valmistelutoimi, laadittiin ohjelma ja etenemissuunnitelma digitaalisen kielen täyden tasa-arvon saavuttamiseksi Euroopassa vuoteen 2030 mennessä.

Komissio koordinoi digitaalista vuosikymmentä koskevan toimintapoliittisen ohjelman puitteissa unionin toimia kaikissa jäsenvaltioissa ja yksityisellä sektorilla eurooppalaisen pitkän aikavälin ekosysteemin kehittämiseksi.

Lopuksi komissio tunnustaa kielitietojen arvon kielimallien koulutuksen perustana yhteisen eurooppalaisen kielidata-avaruuden (LDS) kautta. DIGITAL-työohjelmasta 2021–2022 rahoitetun hankkeen tavoitteena on ottaa käyttöön alusta ja markkinapaikka monikielisen ja multimodaalisen kielidatan keräämistä, jakamista ja uudelleenkäyttöä varten. Yhdenmukaistettuna Euroopan datastrategian ja data-avaruuksien käsitteen kanssa sillä varmistetaan, että taloudessa, yhteiskunnassa ja tutkimuksessa on saatavilla enemmän kielidataa ja että dataa tuottavat yritykset ja henkilöt pysyvät hallinnassa.

Kaikkien näiden osatekijöiden, hankkeiden ja toimijoiden yhdistäminen on suuri haaste unionille, Euroopan teollisuudelle ja kansallisille julkishallinnoille. Lopullisena tavoitteena on tukea Euroopan digitaalista vuosikymmentä kaikkien hyödyksi.