Valodu tehnoloģijas

Valodu tehnoloģijas (LT) ļauj mašīnām ne tikai lasīt, analizēt, apstrādāt un radīt cilvēka valodu, bet, pateicoties jaunākajiem zinātnes sasniegumiem, arī pārvarēt plaisu starp cilvēka saziņu un mašīnas izpratni.

Tā kā valoda ir cilvēka mijiedarbības pamats, LT ir ieguvusi milzīgu nozīmi dažādās nozarēs un lietojumprogrammās, sākot ar tulkošanu un lokalizāciju un beidzot ar klientu atbalstu, veselības aprūpi, plašsaziņas līdzekļu izveidi un mārketingu. Izplatīti šīs tehnoloģijas piemēri ir runas atpazīšana, viedie asistenti, mašīntulkošana, sarunboti, teksta apkopošana un automātiska subtitrēšana.

Kas ir vajadzīgs, lai attīstītu valodu tehnoloģijas?

Turpmāk ir izklāstīti daži galvenie elementi, lai izstrādātu uz valodu balstītus rīkus un pakalpojumus.

• Valodas dati: tas attiecas uz tekstuālu vai mutisku saturu vienā vai vairākās valodās, ko izmanto kā ievadmateriālu vai mācību materiālu dabiskās valodas apstrādes uzdevumiem, piemēram, teksta ģenerēšanai vai noskaņojuma analīzei. Šos datus var iegūt no dažādiem avotiem — grāmatām, rakstiem, ierakstiem sociālajos medijos, mutisku sarunu transkripcijām utt. Tā kā tie veido LT attīstības pamatu, ir ļoti svarīgi, lai tie tiktu vākti, pilnībā ievērojot autortiesību (IĪT) un personas datu aizsardzības (VDAR) noteikumus.
• Apmācības algoritmi un valodu modeļi: algoritmi ir programmatūra “receptes”, lai radītu cilvēku valodu modeļus. Ar ievērojamu daudzumu kvalitatīvu datu jaunākie mašīnmācīšanās algoritmi ir parādījuši lielākas spējas radīt modeļus, kas atspoguļo zināšanas, kuras iegūtas no valodas datiem. Jo lielāki ir resursi un modeļi, jo aptverošāki un vispārīgāki ir to lietojumi.
• Skaitļošanas jauda: ir vajadzīgi ievērojami skaitļošanas resursi, jo īpaši valodu modeļu izveides laikā, kad izšķiroša nozīme ir augstas veiktspējas datošanai un stabilai mākoņdatošanas infrastruktūrai.
• Cilvēku speciālās zināšanas: veiksmīga LT ietver sadarbību starp valodniekiem, datu zinātniekiem, datorinženieriem un domēnu speciālistiem.

Ko Eiropa dara, lai attīstītu valodu tehnoloģijas?

Eiropā ir sarežģīta valodu vide. Eiropas Savienības Pamattiesību harta aizliedz diskrimināciju valodas dēļ un uzliek ES pienākumu respektēt valodu daudzveidību. Pārskatatbildība, pārredzamība, taisnīgums un mūsu vērtību ievērošana ir tikai dažas no tās ētiskajām sekām. Šīs tiesības un principus var garantēt tikai tad, ja LT tiek izmantota objektīvi.

Eiropas LT nozarei ir būtiska nozīme Eiropas stratēģiskajā un tehnoloģiskajā autonomijā, kas būtu vēl vairāk jāstiprina. Mūsu īpašās tirgus vajadzības vislabāk zina European LT p roviders, no kuriem simtiem ir uzskaitīti eTranslation pakalpojumu katalogā.

Publiski pieejami risinājumi, tostarp Eiropas Komisijas piedāvātie rīki un pakalpojumi, papildina tirgus piedāvājumu, vienlaikus novēršot trūkumus tehnoloģiju atbalstā valodām ar zemu resursu līmeni. Šie pamatrisinājumi — mašīntulkošana (eTranslation), nosaukto struktūru atpazīšana, apkopošana, runas transkripcija un datu pseidonimizācija, lai nodrošinātu atbilstību VDAR, — ir pieejami visām Eiropas publiskās pārvaldes iestādēm un mazajiem un vidējiem uzņēmumiem visās oficiālajās valodās.

Pamatprogrammas “Apvārsnis 2020” ietvaros Eiropas valodu tīkls (ELG) izveidoja vienas pieturas aģentūru specializētiem LT risinājumiem. Centieni izplatīt informāciju un veidot kopienu ir palīdzējuši veicināt kopīgu izpratni par nepieciešamību apvienot publiskos un privātos spēkus un gūt labumu no labākajām abām pasaulēm pētniecībā un ieviešanā.

Programma “Apvārsnis Eiropa” veicina pētniecību un inovāciju, atbalstot ne tikai modernu progresīvu LT, tostarp lielu valodu modeļu, izstrādi. Šiem modeļiem, kas izstrādāti, lai uzlabotu cilvēka un mašīnas mijiedarbību, būs daudzvalodu spējas, tie darbosies dažādos ievades režīmos, pārvaldīs neobjektivitāti un izrādīs konteksta izpratni.

Ar iniciatīvu “Eiropas valodu līdztiesība” (ELE), kas ir Eiropas Parlamenta ierosināts izmēģinājuma projekts/sagatavošanas darbība, tika izstrādāta programma un ceļvedis pilnīgas digitālās valodu līdztiesības panākšanai Eiropā līdz 2030. gadam.

Saskaņā ar Digitālās desmitgades politikas programmu Komisija koordinē Savienības centienus visās dalībvalstīs un privātajā sektorā, lai izveidotu Eiropas LT ekosistēmu.

Visbeidzot, Komisija atzīst, ka valodu dati ir vērtīgs pamats valodu modeļu apmācībai, izmantojot vienoto Eiropas valodu datu telpu (LDS). Projekta, ko finansē saskaņā ar DIGITAL darba programmu 2021.–2022. gadam, mērķis ir izveidot platformu un tirgu daudzvalodu un multimodālu valodu datu vākšanai, kopīgošanai un atkalizmantošanai. Saskaņots ar Eiropas Datu stratēģiju un pašu datu telpu koncepciju, tas nodrošinās, ka vairāk valodas datu kļūs pieejami izmantošanai ekonomikā, sabiedrībā un pētniecībā, vienlaikus saglabājot kontroli pār uzņēmumiem un privātpersonām, kas rada datus.

Visu šo elementu, projektu un dalībnieku apvienošana ir liels izaicinājums Savienībai, Eiropas rūpniecībai un valstu publiskās pārvaldes iestādēm, un galīgais mērķis ir atbalstīt Eiropas digitālo desmitgadi visu labā.