Jezične tehnologije

Jezične tehnologije (LT) omogućuju strojevima ne samo da čitaju, analiziraju, obrađuju i generiraju ljudski jezik, već i, zahvaljujući najnovijim znanstvenim dostignućima, premoste jaz između ljudske komunikacije i strojnog razumijevanja.

Budući da jezik služi kao temeljni medij za ljudsku interakciju, LT je stekao veliku važnost u različitim industrijama i aplikacijama, od prevođenja i lokalizacije do korisničke podrške, zdravstvene skrbi, stvaranja medija i marketinga. Uobičajeni primjeri ove tehnologije su prepoznavanje govora, pametni asistenti, strojno prevođenje, chatbotovi, sažetak teksta i automatsko podnaslovljavanje.

Što je potrebno za razvoj jezičnih tehnologija?

U nastavku su neki od ključnih elemenata za razvoj alata i usluga temeljenih na jeziku.

• Jezični podaci: to se odnosi na tekstualni ili govorni sadržaj – na jednom ili više jezika – koji služi kao ulazni ili edukacijski materijal za zadatke obrade prirodnog jezika, npr. generiranje teksta ili analiza raspoloženja. Ti podaci mogu doći iz različitih izvora – knjiga, članaka, objava na društvenim mrežama, transkripta govornih razgovora itd. Budući da čine temelj razvoja LT-a, ključno je da se prikupljaju uz puno poštovanje odredbi o autorskim pravima i zaštiti osobnih podataka (GDPR).
• Algoritmi za osposobljavanje i jezični modeli: algoritmi su softver, „recepti”, za stvaranje modela ljudskih jezika. Uz znatnu količinu kvalitetnih podataka, najnoviji algoritmi strojnog učenja pokazali su povećane sposobnosti za stvaranje modela koji predstavljaju znanje izvedeno iz jezičnih podataka. Što su resursi i modeli veći, to su njihove primjene sveobuhvatnije i općenitije.
• Računalna snaga: potrebni su znatni računalni resursi, posebno tijekom stvaranja jezičnih modela, u kojima su računalstvo visokih performansi i robusna infrastruktura u oblaku ključni.
• Ljudsko stručno znanje: uspješna LT uključuje suradnju između lingvista, podatkovnih znanstvenika, računalnih inženjera i stručnjaka za domene.

Što Europa čini za razvoj jezičnih tehnologija?

U Europi imamo složeni jezični krajolik. Poveljom Europske unije o temeljnim pravima zabranjuje se diskriminacija na temelju jezika i EU-u se nameće obveza poštovanja jezične raznolikosti. Odgovornost, transparentnost, pravednost i poštovanje naših vrijednosti samo su neke od njezinih etičkih implikacija. Ta se prava i načela mogu jamčiti samo nepristranim korištenjem LT-a.

Europska litavska industrija ima ključnu ulogu u strateškoj i tehnološkoj autonomiji Europe, koju bi trebalo dodatno ojačati. Naše specifične potrebe tržišta najbolje su poznate europskim LT providerima, od kojih su stotine navedene u Katalogu usluga eTranslation.

Javno dostupna rješenja, uključujući alate i usluge kojenudi Europska komisija, nadopunjuju tržišnu ponudu i istodobno uklanjaju nedostatak tehnološke potpore jezicima s niskim resursima. Ta osnovna rješenja – strojno prevođenje (eTranslation), prepoznavanje imenovanih subjekata, sažetak, transkripcija govora i pseudonimizacija podataka za usklađenost s Općom uredbom o zaštiti podataka – dostupna su svim europskim javnim upravama te malim i srednjim poduzećima na svim službenim jezicima.

U okviru programa Obzor 2020. Europska jezična mreža (ELG) uspostavila je jedinstvenu kontaktnu točku specijaliziranih LT rješenja. Napori u širenju i izgradnji zajednice doprinijeli su poticanju zajedničkog razumijevanja o potrebi za udruživanjem javnih i privatnih snaga i iskorištavanjem najboljih od oba svijeta u istraživanju i uvođenju.

Programom Obzor Europa potiču se istraživanja i inovacije podupiranjem razvoja najsuvremenijih naprednih jezičnih tehnologija, uključujući modele velikih jezika. Ovi modeli, dizajnirani za poboljšanje interakcije čovjeka i stroja, imat će višejezične mogućnosti, rukovati višestrukim načinima unosa, upravljati predrasudama i pokazivati svijest o kontekstu.

U okviru inicijative za europsku jezičnu ravnopravnost (ELE), pilot-projekta/pripremnog djelovanja koje je pokrenuo Europski parlament, razvijen je program i plan za postizanje potpune digitalne jezične ravnopravnosti u Europi do 2030.

U okviru programa politike digitalnog desetljeća Komisija koordinira napore Unije u svim državama članicama i privatnom sektoru u cilju razvoja europskog ekosustava LT-a.

Naposljetku, Komisija priznaje vrijednost jezičnih podataka kao temelja za jezične modele osposobljavanja u okviru zajedničkog europskog jezičnog podatkovnog prostora (LDS). Projekt se financira u okviru programa rada DIGITAL za razdoblje 2021. 2022., a cilj mu je uspostaviti platformu i tržište za prikupljanje, razmjenu i ponovnu uporabu višejezičnih i multimodalnih jezičnih podataka. U skladu s Europskom strategijom za podatke i samim konceptom podatkovnih prostora, osigurat će se da više jezičnih podataka postane dostupno za upotrebu u gospodarstvu, društvu i istraživanju, pri čemu će poduzeća i pojedinci koji generiraju podatke ostati pod kontrolom.

Okupljanje svih tih elemenata, projekata i aktera velik je izazov za Uniju, europsku industriju i nacionalne javne uprave, a krajnji je cilj pružiti potporu digitalnom desetljeću Europe u korist svih.