Technologie językowe

Technologie językowe (LT) umożliwiają maszynom nie tylko czytanie, analizowanie, przetwarzanie i generowanie ludzkiego języka, ale także, dzięki najnowszym postępom naukowym, niwelowanie przepaści między ludzką komunikacją a rozumieniem maszyn.

Ponieważ język służy jako podstawowe medium interakcji międzyludzkiej, LT zyskało ogromne znaczenie w różnych branżach i zastosowaniach, od tłumaczenia i lokalizacji po obsługę klienta, opiekę zdrowotną, tworzenie mediów i marketing. Typowymi przykładami tej technologii są rozpoznawanie mowy, inteligentni asystenci, tłumaczenie maszynowe, chatboty, streszczenie tekstu i automatyczne napisy.

Co jest potrzebne do rozwoju technologii językowych?

Poniżej przedstawiono niektóre z kluczowych elementów opracowania narzędzi i usług językowych.

• Dane językowe: odnosi się to do treści tekstowych lub mówionych – w co najmniej jednym języku – które służą jako materiał wejściowy lub szkoleniowy do zadań związanych z przetwarzaniem języka naturalnego, np. generowania tekstu lub analizy nastrojów. Dane te mogą pochodzić z różnych źródeł – książek, artykułów, postów w mediach społecznościowych, transkrypcji rozmów ustnych itp. Ponieważ stanowią one podstawę rozwoju LT, ważne jest, aby były gromadzone z pełnym poszanowaniem przepisów dotyczących praw autorskich i ochrony danych osobowych (RODO).
• Algorytmy szkoleniowe i modele językowe: algorytmy są oprogramowaniem, „przepisami”, służącymi do tworzenia modeli ludzkich języków. Dzięki dużej ilości wysokiej jakości danych najnowsze algorytmy uczenia maszynowego wykazały zwiększone zdolności do tworzenia modeli reprezentujących wiedzę pochodzącą z danych językowych. Im większe są zasoby i modele, tym bardziej wszechstronne i ogólne są ich zastosowania.
• Moc obliczeniowa: potrzebne są znaczne zasoby obliczeniowe, zwłaszcza podczas tworzenia modeli językowych, w których kluczowe znaczenie mają obliczenia wielkiej skali i solidna infrastruktura chmury obliczeniowej.
• Wiedza fachowa w zakresie zasobów ludzkich: udane LT obejmują współpracę między lingwistami, naukowcami zajmującymi się danymi, inżynierami komputerowymi i specjalistami w dziedzinie.

Co Europa robi, aby rozwijać technologie językowe?

W Europie mamy złożony krajobraz językowy. Karta praw podstawowych Unii Europejskiej zakazuje dyskryminacji ze względu na język i nakłada na UE obowiązek poszanowania różnorodności językowej. Odpowiedzialność, przejrzystość, uczciwość i poszanowanie naszych wartości to tylko niektóre z etycznych implikacji. Te prawa i zasady mogą być zagwarantowane jedynie poprzez bezstronne korzystanie z LT.

Europejski przemysł LT odgrywa kluczową rolę w strategicznej i technologicznej autonomii Europy, którą należy dalej wzmacniać. Nasze specyficzne potrzeby rynkowe są najlepiej znane europejskim dostawcom LT p, z których setki są wymienione w katalogu usług eTranslation.

Publicznie dostępne rozwiązania, w tym narzędzia i usługi oferowane przez Komisję Europejską, uzupełniają ofertę rynkową, a jednocześnie eliminują niedobór wsparcia technologicznego dla języków o niskich zasobach. Te podstawowe rozwiązania – tłumaczenie maszynowe (eTranslation), rozpoznawanie nazw podmiotów, streszczenie, transkrypcja mowy i pseudonimizacja danych w celu zapewnienia zgodności z RODO – są dostępne dla wszystkich europejskich administracji publicznych oraz małych i średnich przedsiębiorstw we wszystkich językach urzędowych.

W ramach programu „Horyzont 2020” europejska sieć językowa (ELG) utworzyła punkt kompleksowej obsługi wyspecjalizowanych rozwiązań w zakresie opieki długoterminowej. Wysiłki na rzecz upowszechniania i budowania społeczności przyczyniły się do wypracowania wspólnego porozumienia co do konieczności połączenia sił publicznych i prywatnych oraz czerpania korzyści z najlepszych osiągnięć obu światów w zakresie badań naukowych i wdrażania.

Program „Horyzont Europa” wspiera badania naukowe i innowacje poprzez wspieranie rozwoju zaawansowanych technologii językowych wykraczających poza stan techniki, w tym dużych modeli językowych. Modele te, zaprojektowane w celu zwiększenia interakcji człowiek-maszyna, będą miały wielojęzyczne możliwości, będą obsługiwać wiele trybów wprowadzania danych, zarządzać uprzedzeniami i wykazywać świadomość kontekstu.

W ramach inicjatywy na rzecz europejskiej równości językowej (ELE), projektu pilotażowego/działania przygotowawczego zainicjowanego przez Parlament Europejski, opracowano program i plan działania na rzecz osiągnięcia pełnej cyfrowej równości językowej w Europie do 2030 r.

W ramach programu polityki „Droga ku cyfrowej dekadzie” Komisja koordynuje wysiłki Unii we wszystkich państwach członkowskich i w sektorze prywatnym na rzecz rozwoju europejskiego ekosystemu technologii informacyjno-komunikacyjnych.

Ponadto Komisja uznaje wartość danych językowych jako podstawy modeli językowych szkolenia za pośrednictwem wspólnej europejskiej przestrzeni danych językowych (LDS). Finansowany w ramach programu prac DIGITAL na lata 2021–2022 projekt ma na celu wdrożenie platformy i rynku gromadzenia, udostępniania i ponownego wykorzystywania wielojęzycznych i multimodalnych danych językowych. Zgodnie z europejską strategią w zakresie danych i samą koncepcją przestrzeni danych zapewni ona dostępność większej liczby danych językowych do wykorzystania w gospodarce, społeczeństwie i badaniach naukowych, przy jednoczesnym utrzymaniu kontroli nad przedsiębiorstwami i osobami fizycznymi, które generują dane.

Połączenie wszystkich tych elementów, projektów i podmiotów stanowi poważne wyzwanie dla Unii, europejskiego przemysłu i krajowych administracji publicznych – ostatecznym celem jest wspieranie cyfrowej dekady Europy z korzyścią dla wszystkich.