Jezikovne tehnologije

Jezikovne tehnologije (LT) omogočajo strojem, da ne le berejo, analizirajo, obdelujejo in ustvarjajo človeški jezik, temveč tudi, zahvaljujoč nedavnemu znanstvenemu napredku, premostijo razkorak med človeško komunikacijo in strojnim razumevanjem.

Ker jezik služi kot temeljni medij za človeško interakcijo, je LT pridobil izjemen pomen v različnih panogah in aplikacijah, od prevajanja in lokalizacije do podpore strankam, zdravstvenega varstva, ustvarjanja medijev in trženja. Pogosti primeri te tehnologije so prepoznavanje govora, pametni pomočniki, strojno prevajanje, chatboti, povzetek besedila in samodejno podnaslavljanje.

Kaj je potrebno za razvoj jezikovnih tehnologij?

Spodaj so navedeni nekateri ključni elementi za razvoj jezikovnih orodij in storitev.

• Jezikovni podatki: to se nanaša na besedilno ali govorjeno vsebino – v enem ali več jezikih –, ki služi kot vhodni ali izobraževalni material za naloge obdelave naravnega jezika, npr. ustvarjanje besedila ali analizo čustev. Ti podatki lahko izvirajo iz različnih virov – knjig, člankov, objav v družbenih medijih, prepisov govorjenih pogovorovitd.
• Algoritmi usposabljanja in jezikovni modeli: algoritmi so programska oprema, „recepti“, za ustvarjanje modelov človeških jezikov. Z veliko količino kakovostnih podatkov so najnovejši algoritmi strojnega učenja pokazali večje sposobnosti za ustvarjanje modelov, ki predstavljajo znanje, pridobljeno iz jezikovnih podatkov. Večji kot so viri in modeli, bolj so obsežnejše in generične njihove uporabe.
• Računska moč: potrebni so znatni računalniški viri, zlasti med ustvarjanjem jezikovnih modelov, kjer so ključnega pomena visokozmogljivostno računalništvo in robustna infrastruktura v oblaku.
• Človeško strokovno znanje: uspešno LT vključuje sodelovanje med jezikoslovci, podatkovnimi znanstveniki, računalniškimi inženirji in strokovnjaki za domeno.

Kaj Evropa počne za razvoj jezikovnih tehnologij?

V Evropi imamo kompleksno jezikovno pokrajino. Listina Evropske unije o temeljnih pravicah prepoveduje diskriminacijo na podlagi jezika in nalaga EU obveznost, da spoštuje jezikovno raznolikost. Odgovornost, preglednost, pravičnost in spoštovanje naših vrednot so le nekatere od njihovih etičnih posledic. Te pravice in načela je mogoče zagotoviti le z nepristransko uporabo LT.

Evropska industrija LT ima ključno vlogo pri strateški in tehnološki avtonomiji Evrope, ki bi jo bilo treba še okrepiti. Naše posebne tržne potrebe najbolj poznajo evropski LT p roviders, od katerih jih je na stotine navedenih v katalogu storitev eTranslation.

Javno dostopne rešitve, vključno z orodji in storitvami, ki jih ponuja Evropska komisija, dopolnjujejo tržno ponudbo, hkrati pa odpravljajo pomanjkanje tehnološke podpore za jezike z nizkimi viri. Te osnovne rešitve – strojno prevajanje (eTranslation), prepoznavanje imenovanih subjektov, povzetek, prepis govora in psevdonimizacija podatkov za skladnost s Splošno uredbo o varstvu podatkov – so na voljo vsem evropskim javnim upravam ter malim in srednjim podjetjem v vseh uradnih jezikih.

Evropska jezikovna mreža (ELG) je vokviru programa Obzorje 2020 vzpostavila točko „vse na enem mestu“ za specializirane rešitve LT. Prizadevanja za razširjanje in izgradnjo skupnosti so prispevala k spodbujanju skupnega razumevanja nujnosti združevanja javnih in zasebnih sil ter koristi najboljšega iz obeh svetov pri raziskavah in uvajanju.

Program Obzorje Evropa spodbuja raziskave in inovacije s podporo razvoju najsodobnejših naprednih nizkotehnoloških modelov, vključno z velikimi jezikovnimi modeli. Ti modeli, zasnovani za izboljšanje interakcije med človekom in strojem, bodo imeli večjezične zmogljivosti, obravnavali več načinov vnosa, upravljali pristranskost in prikazovali kontekstno ozaveščenost.

Evropska pobuda za enakost jezikov (ELE), pilotni projekt/pripravljalni ukrep, ki ga je začel Evropski parlament, je pripravila program in časovni načrt za doseganje popolne enakosti digitalnih jezikov v Evropi do leta 2030.

V okviru programa politike za digitalno desetletje Komisija usklajuje prizadevanja Unije med državami članicami in zasebnim sektorjem za razvoj evropskega ekosistema LT.

Nazadnje Komisija priznava pomen jezikovnih podatkov kot temelja za učenje jezikovnih modelov v okviru skupnega evropskega jezikovnega podatkovnega prostora (LDS). Projekt, financiran v okviru delovnega programa DIGITAL za obdobje 2021–2022, je namenjen vzpostavitvi platforme in trga za zbiranje, izmenjavo in ponovno uporabo večjezičnih in večmodalnih jezikovnih podatkov. Usklajena z evropsko strategijo za podatke in samim konceptom podatkovnih prostorov bo zagotovila, da bo na voljo več jezikovnih podatkov za uporabo v gospodarstvu, družbi in raziskavah, hkrati pa bodo podjetja in posamezniki, ki ustvarjajo podatke, pod nadzorom.

Združevanje vseh teh elementov, projektov in akterjev je velik izziv za Unijo, evropsko industrijo in nacionalne javne uprave – končni namen je podpreti evropsko digitalno desetletje v korist vseh.