Keeletehnoloogiad

Keeletehnoloogiad (LT) võimaldavad masinatel mitte ainult lugeda, analüüsida, töödelda ja luua inimkeelt, vaid ka tänu hiljutistele teaduslikele edusammudele ületada lõhe inimese suhtluse ja masina mõistmise vahel.

Kuna keel on inimese suhtlemise põhivahend, on LT omandanud tohutu tähtsuse erinevates tööstusharudes ja rakendustes, alates tõlkimisest ja lokaliseerimisest kuni klienditoe, tervishoiu, meedia loomise ja turunduseni. Selle tehnoloogia tavalised näited on kõnetuvastus, nutikad assistendid, masintõlge, juturobotid, teksti summeerimine ja automaatne subtiitrite kasutamine.

Mida on vaja keeletehnoloogia arendamiseks?

Allpool on esitatud mõned keelepõhiste vahendite ja teenuste arendamise põhielemendid.

• Keeleandmed: see tähendab tekstilist või suulist sisu – ühes või mitmes keeles –, mis on sisendiks või koolitusmaterjaliks looduskeele töötlemise ülesannetes, näiteks teksti genereerimises või tundeanalüüsis. Need andmed võivad pärineda erinevatest allikatest – raamatud, artiklid, sotsiaalmeedia postitused, kõneldavate vestluste ärakirjad jne. Kuna need moodustavad LT arengu aluse, on oluline, et neid kogutaks täielikus kooskõlas autoriõiguse (IPR) ja isikuandmete kaitse (GDPR) sätetega.
• Koolitusalgoritmid ja keelemudelid: algoritmid on tarkvara, „retseptid“, et luua inimkeelte mudeleid. Tänu märkimisväärsele hulgale kvaliteetsetele andmetele on uusimad masinõppe algoritmid näidanud suuremaid võimeid luua mudeleid, mis esindavad keeleandmetest saadud teadmisi. Mida suuremad on ressursid ja mudelid, seda ulatuslikumad ja üldisemad on nende rakendused.
• Arvutusvõimsus: vaja on märkimisväärseid arvutusressursse, eriti keelemudelite loomise ajal, kus kõrgjõudlusega andmetöötlus ja tugevad pilvetaristud on üliolulised.
• Inimekspertiis: edukas LT hõlmab koostööd keeleteadlaste, andmeteadlaste, arvutiinseneride ja domeenispetsialistide vahel.

Mida teeb Euroopa keeletehnoloogia arendamiseks?

Euroopas on meil keeruline keelemaastik. Euroopa Liidu põhiõiguste harta keelab diskrimineerimise keele alusel ja paneb ELile kohustuse austada keelelist mitmekesisust. Vastutus, läbipaistvus, õiglus ja meie väärtuste austamine on vaid mõned selle eetilised tagajärjed. Neid õigusi ja põhimõtteid saab tagada üksnes LT erapooletu kasutamisega.

Euroopa pikaajalise tehnoloogia tööstusel on oluline roll Euroopa strateegilises ja tehnoloogilises autonoomias, mida tuleks veelgi tugevdada. Meie konkreetseid turuvajadusi tunnevad kõige paremini Euroopa LT providers, kellest sajad on loetletud eTranslationi teenuste kataloogis.

Avalikult kättesaadavad lahendused, sealhulgas Euroopa Komisjonipakutavadvahendid ja teenused, täiendavad turupakkumist, tegeledes samal ajal vähese ressursiga keelte tehnoloogilise toetamise puudusega. Need põhilahendused – masintõlge (eTranslation), nimeliste üksuste tunnustamine, kokkuvõtte tegemine, kõne transkriptsioon ja andmete pseudonüümimine isikuandmete kaitse üldmääruse nõuete täitmiseks – on kättesaadavad kõigile Euroopa haldusasutustele ning väikestele ja keskmise suurusega ettevõtjatele kõigis ametlikes keeltes.

Programmi „Horisont 2020“ raames lõi Euroopa keelevõrk ( ELG) spetsiaalsete keeleõppelahenduste ühtse kontaktpunkti. Jõupingutused levitamisel ja kogukonna ülesehitamisel on aidanud edendada ühist arusaama vajadusest ühineda avaliku ja erasektori jõududega ning saada kasu mõlema maailma parimatest teadusuuringutest ja kasutuselevõtust.

Programmiga „Euroopa horisont“ edendatakse teadusuuringuid ja innovatsiooni, toetades tipptasemel keeleõppe, sealhulgas suurte keelemudelite arendamist. Need mudelid, mis on mõeldud inimese ja masina vahelise suhtluse parandamiseks, on mitmekeelsed, käsitlevad mitut sisendirežiimi, haldavad eelarvamusi ja näitavad kontekstiteadlikkust.

Euroopa keelelise võrdõiguslikkuse algatusega, mis on Euroopa Parlamendi algatatud katseprojekt/ettevalmistav meede, töötati välja tegevuskava ja tegevuskava täieliku digitaalse keelelise võrdõiguslikkuse saavutamiseks Euroopas 2030. aastaks.

Digikümnendi poliitikaprogrammi raames koordineerib komisjon liidu jõupingutusi kõigis liikmesriikides ja erasektoris, et arendada välja Euroopa pikamaatranspordi ökosüsteem.

Lõpuks tunnistab komisjon keeleandmete väärtust Euroopa ühise keeleandmeruumi (LDS) kaudu keelemudelite koolitamise alusena. Projekti rahastatakse informaatikaalase tööprogrammi (2021–2022) raames ning selle eesmärk on võtta kasutusele platvorm ja turg mitmekeelsete ja mitmeliigiliste keeleandmete kogumiseks, jagamiseks ja taaskasutamiseks. Kooskõlas Euroopa andmestrateegia ja andmeruumide kontseptsiooniga tagab see, et majanduses, ühiskonnas ja teadusuuringutes kasutatakse rohkem keeleandmeid, hoides samal ajal andmeid loovaid ettevõtteid ja üksikisikuid kontrolli all.

Kõigi nende elementide, projektide ja osalejate ühendamine on liidu, Euroopa tööstuse ja liikmesriikide haldusasutuste jaoks suur väljakutse – lõppeesmärk on toetada Euroopa digikümnendit kõigi hüvanguks.