Kieliteknologiat

Kieliteknologian (LT) avulla koneet voivat paitsi lukea, analysoida, käsitellä ja tuottaa ihmisen kieltä, mutta myös viimeaikaisten tieteellisten edistysaskelten ansiosta kuroa umpeen kuilun ihmisen viestinnän ja koneymmärryksen välillä.

Koska kieli toimii ihmisen vuorovaikutuksen perusvälineenä, LT on saanut valtavan merkityksen eri toimialoilla ja sovelluksissa kääntämisestä ja lokalisoinnista asiakastukeen, terveydenhuoltoon, median luomiseen ja markkinointiin. Yleisiä esimerkkejä tästä teknologiasta ovat puheentunnistus, älykkäät avustajat, konekääntäminen, chatbotit, tekstin yhteenveto ja automaattinen tekstitys.

Mitä tarvitaan kieliteknologian kehittämiseen?

Alla on muutamia keskeisiä tekijöitä kielipohjaisten työkalujen ja palvelujen kehittämisessä.

• Kielitiedot: tällä tarkoitetaan tekstisisältöä tai puhuttua sisältöä – yhdellä tai useammalla kielellä – joka toimii syöttö- tai koulutusmateriaalina luonnollisen kielenkäsittelytehtäviin, kuten tekstin tuottamiseen tai tunteiden analysointiin. Nämä tiedot voivat olla peräisin useista eri lähteistä – kirjoista, artikkeleista, sosiaalisen median julkaisuista, puhekeskustelujen transkriptioista jne. Koska ne muodostavat perustan LT:n kehittämiselle, on erittäin tärkeää, että ne kerätään noudattaen täysimääräisesti tekijänoikeuksia (IPR) ja henkilötietojen suojaa koskevia säännöksiä.
• Koulutusalgoritmit ja kielimallit: algoritmit ovat ohjelmisto, ”reseptit”, luoda malleja ihmiskieliä. Viimeisimpien koneoppimisalgoritmien avulla voidaan luoda malleja, jotka edustavat kielitiedosta johdettua tietoa. Mitä suuremmat resurssit ja mallit ovat, sitä kattavat ja yleisluonteiset sovellukset ovat.
• Laskennallinen teho: merkittäviä laskennallisia resursseja tarvitaan erityisesti kielimallien luomisen yhteydessä, joissa suurteholaskenta ja vahvat pilvipalveluinfrastruktuurit ovat ratkaisevan tärkeitä.
• Inhimillinen asiantuntemus: onnistunut LT sisältää yhteistyötä lingvistien, datatutkijoiden, tietokoneinsinöörien ja alan asiantuntijoiden välillä.

Mitä Eurooppa tekee kieliteknologian kehittämiseksi?

Euroopassa on monitahoinen kielimaisema. Euroopan unionin perusoikeuskirjassa kielletään kieleen perustuva syrjintä ja asetetaan EU:lle velvollisuus kunnioittaa kielellistä monimuotoisuutta. Vastuullisuus, avoimuus, oikeudenmukaisuus ja arvojemme kunnioittaminen ovat vain muutamia sen eettisiä vaikutuksia. Nämä oikeudet ja periaatteet voidaan taata vain LT:n puolueettomalla käytöllä.

Eurooppalaisella LT -teollisuudella on keskeinen rooli Euroopan strategisessa ja teknologisessa riippumattomuudessa, jota olisi edelleen vahvistettava. Erityiset markkinatarpeemme tunnetaan parhaiten European LT p roviders-yrityksillä, joista satoja on lueteltu eTranslation-palveluluettelossa.

Julkisesti saatavilla olevat ratkaisut, mukaan lukien Euroopan komissiontarjoamattyökalut ja palvelut, täydentävät markkinoiden tarjontaa ja korjaavat samalla teknologiatuen puutetta vähävaraisille kielille. Nämä perusratkaisut – konekääntäminen (eTranslation),nimettyjen yhteisöjen tunnustaminen, yhteenveto, puheen transkriptio ja tietojen pseudonymisointi yleisen tietosuoja-asetuksen noudattamista varten – ovat kaikkien eurooppalaisten julkishallintojen ja pienten ja keskisuurten yritysten saatavilla kaikilla virallisilla kielillä.

Horisontti 2020 -puiteohjelmassa eurooppalainen kieliverkko ( ELG) loi keskitetyn palvelupisteen erikoistuneille LT-ratkaisuille. Tulosten levittäminen ja yhteisöjen kehittäminen ovat edistäneet yhteisymmärrystä siitä, että on yhdistettävä julkisia ja yksityisiä voimia ja hyödynnettävä molempien maailmojen parhaita puolia tutkimuksessa ja käyttöönotossa.

HorisonttiEurooppa -ohjelmalla edistetään tutkimusta ja innovointia tukemalla huipputason kehittyneiden LT -tekniikoiden kehittämistä, mukaan lukien laajakieliset mallit. Nämä mallit, jotka on suunniteltu parantamaan ihmisen ja koneen vuorovaikutusta, ovat monikielisiä ominaisuuksia, käsittelevät useita syöttötapoja, hallitsevat vinoutumia ja osoittavat kontekstitietoisuutta.

Euroopan kielten tasa-arvoa (ELE) koskevassa aloitteessa, joka on Euroopan parlamentin käynnistämä pilottihanke/valmistelutoimi, laadittiin ohjelma ja etenemissuunnitelma digitaalisen kielten tasa-arvon saavuttamiseksi Euroopassa vuoteen 2030 mennessä.

Digitaalista vuosikymmentä koskevan toimintapoliittisen ohjelman puitteissa komissio koordinoi unionin toimia kaikissa jäsenvaltioissa ja yksityisellä sektorilla eurooppalaisen LT-ekosysteemin kehittämiseksi.

Lopuksi komissio tunnustaa kielitietojen arvon yhteisen eurooppalaisen kielidata-avaruuden (LDS) kautta toteutettavien kielimallien koulutusmallien perustana. DIGITAL-työohjelmasta 2021–2022 rahoitetun hankkeen tavoitteena on luoda foorumi ja markkinapaikka monikielisten ja multimodaalisten kielitietojen keräämistä, jakamista ja uudelleenkäyttöä varten. Se on yhdenmukainen Euroopan datastrategian ja data - avaruuskäsitteen kanssa ja varmistaa, että enemmän kielitietoa on saatavilla talous-, yhteiskunta- ja tutkimuskäyttöön ja että dataa tuottavat yritykset ja yksilöt pysyvät hallinnassa.

Kaikkien näiden osatekijöiden, hankkeiden ja toimijoiden yhdistäminen on suuri haaste unionille, Euroopan teollisuudelle ja kansallisille julkishallinnoille – perimmäisenä tavoitteena on tukea Euroopan digitaalista vuosikymmentä kaikkien hyödyksi.