Jezične tehnologije

Jezične tehnologije (LT) omogućuju strojevima ne samo čitanje, analizu, obradu i generiranje ljudskog jezika, već i, zahvaljujući nedavnom znanstvenom napretku, premošćivanje jaza između ljudske komunikacije i razumijevanja stroja.

Budući da jezik služi kao temeljni medij za ljudsku interakciju, jezična tehnologija dobila je golemu važnost u raznim industrijama i aplikacijama, od prevođenja i lokalizacije do korisničke podrške, zdravstvene skrbi, stvaranja medija i marketinga. Uobičajeni primjeri ove tehnologije su prepoznavanje govora, pametni asistenti, strojno prevođenje, chatbotovi, sažimanje teksta i automatsko podnaslovljavanje.

Što je potrebno za razvoj jezičnih tehnologija?

U nastavku su navedeni neki od ključnih elemenata za razvoj jezičnih alata i usluga.

• Jezični podaci: to se odnosi na tekstualni ili govorni sadržaj – na jednom ili više jezika – koji služi kao ulazni materijal ili materijal za osposobljavanje za zadatke obrade prirodnog jezika, npr. za generiranje teksta ili analizu osjećaja. Ti podaci mogu potjecati iz različitih izvora – knjiga, članaka, objava na društvenim mrežama, transkripata govornih razgovora itd. Budući da čine temelj razvoja jezičnih tehnologija, od ključne je važnosti da se prikupljaju uz potpuno poštovanje odredbi o autorskim pravima i zaštiti osobnih podataka.
• Algoritmi za osposobljavanje i jezični modeli: algoritmi su softver, „recepti”, za stvaranje modela ljudskih jezika. Uz znatne količine kvalitetnih podataka, najnoviji algoritmi strojnog učenja pokazali su povećane sposobnosti za stvaranje modela koji predstavljaju znanje izvedeno iz jezičnih podataka. Što su veći resursi i modeli, to su njihove primjene sveobuhvatnije i općenitije.
• Računalna snaga: potrebni su znatni računalni resursi, posebno tijekom izrade jezičnih modela, u kojima su računalstvo visokih performansi i robusna infrastruktura u oblaku od ključne važnosti.
• Ljudsko stručno znanje: uspješni LT uključuje suradnju između lingvista, podatkovnih znanstvenika, računalnih inženjera i stručnjaka za domenu.

Što Europa poduzima kako bi razvila jezične tehnologije?

U Europi imamo složeno jezično okruženje. Poveljom Europske unije o temeljnim pravima zabranjuje se diskriminacija na temelju jezika i uvodi se obveza EU-a da poštuje jezičnu raznolikost. Odgovornost, transparentnost, pravednost i poštovanje naših vrijednosti samo su neke od njegovih etičkih posljedica. Ta prava i načela mogu se zajamčiti samo nepristranom upotrebom LT-a.

Europska industrija dugotrajne skrbi ima ključnu ulogu u strateškoj i tehnološkoj autonomiji Europe, koju bi trebalo dodatno ojačati. Naše specifične tržišne potrebe najbolje su poznate europskim roviderima LT p, od kojih su stotine navedene u Katalogu usluga eTranslation.

Javno dostupna rješenja, uključujući alate i usluge koje nudi Europska komisija, nadopunjuju tržišnu ponudu i istodobno rješavaju nedostatak tehnološke potpore jezicima s niskim resursima. Ta osnovna rješenja – strojno prevođenje (eTranslation), prepoznavanje naziva subjekata, sažimanje, transkripcija govora i pseudonimizacija podataka radi usklađenosti s Općom uredbom o zaštiti podataka – dostupna su svim europskim javnim upravama te malim i srednjim poduzećima na svim službenim jezicima.

U okviru programa Obzor 2020. Europska jezična mreža (ELG) uspostavila je jedinstvenu kontaktnu točku za specijalizirana jezična rješenja. Napori u širenju i izgradnji zajednice doprinijeli su poticanju zajedničkog razumijevanja potrebe za pridruživanjem javnim i privatnim snagama i iskorištavanjem najboljih rezultata obaju svjetova u istraživanju i primjeni.

Programom Obzor Europa potiču se istraživanja i inovacije podupiranjem razvoja najsuvremenijih naprednih jezičnih modela, uključujući velike jezične modele. Ti modeli, osmišljeni za poboljšanje interakcije čovjeka i stroja, imat će višejezične sposobnosti, nositi se s višestrukim načinima unosa, upravljati pristranostima i pokazivati svijest o kontekstu.

Inicijativom za europsku jezičnu ravnopravnost (ELE), pilot-projektom/pripremnim djelovanjem koje je pokrenuo Europski parlament, razvijen je program i plan za postizanje potpune digitalne jezične ravnopravnosti u Europi do 2030.

U okviru programa politike za digitalno desetljeće Komisija koordinira napore Unije u svim državama članicama i privatnom sektoru za razvoj europskog ekosustava dugotrajne skrbi.

Naposljetku, Komisija prepoznaje vrijednost jezičnih podataka kao temelja za jezične modele osposobljavanja u okviru Zajedničkog europskog prostora za jezične podatke. Projekt se financira u okviru programa rada DIGITAL za razdoblje 2021. 2022., a cilj mu je uspostaviti platformu i tržište za prikupljanje, razmjenu i ponovnu uporabu višejezičnih i multimodalnih jezičnih podataka. Usklađena s Europskom strategijom za podatke i samim konceptom podatkovnih prostora osigurat će da više jezičnih podataka postane dostupno za upotrebu u gospodarstvu, društvu i istraživanju, a poduzeća i pojedinci koji generiraju podatke zadržat će kontrolu nad njima.

Povezivanje svih tih elemenata, projekata i aktera velik je izazov za Uniju, europsku industriju i nacionalne javne uprave, a krajnja je svrha poduprijeti digitalno desetljeće Europe u korist svih.