Technologie językowe

Technologie językowe (LT) pozwalają maszynom nie tylko czytać, analizować, przetwarzać i generować ludzki język, ale także, dzięki niedawnym postępom naukowym, niwelować podział między ludzką komunikacją a rozumieniem maszyn.

Ponieważ język jest podstawowym medium interakcji międzyludzkich, LT zyskało ogromne znaczenie w różnych branżach i aplikacjach, od tłumaczenia i lokalizacji po obsługę klienta, opiekę zdrowotną, tworzenie mediów i marketing. Typowymi przykładami tej technologii są rozpoznawanie mowy, inteligentni asystenci, tłumaczenie maszynowe, chatboty, streszczenia tekstu i automatyczne napisy.

Co jest potrzebne do rozwoju technologii językowych?

Poniżej znajdują się niektóre z kluczowych elementów do opracowania narzędzi i usług opartych na języku.

• Dane językowe: odnosi się to do treści tekstowych lub mówionych – w jednym lub kilku językach – które służą jako materiał wejściowy lub szkoleniowy do zadań związanych z przetwarzaniem języka naturalnego, np. generowania tekstu lub analizy sentymentów. Dane te mogą pochodzić z różnych źródeł – książek, artykułów, postów w mediach społecznościowych, transkrypcji rozmów mówionychitp.
• Algorytmy szkoleniowe i modele językowe: algorytmy są oprogramowaniem, czyli „przepisami”, do tworzenia modeli języków ludzkich. Przy znacznej ilości danych wysokiej jakości najnowsze algorytmy uczenia maszynowego wykazały zwiększone możliwości tworzenia modeli reprezentujących wiedzę pochodzącą z danych językowych. Im większe są zasoby i modele, tym bardziej kompleksowe i ogólne ich zastosowania są.
• Moc obliczeniowa: potrzebne są znaczne zasoby obliczeniowe, zwłaszcza podczas tworzenia modeli językowych, w których kluczowe znaczenie mają wysokowydajne systemy obliczeniowe i solidna infrastruktura chmurowa.
• Wiedza fachowa człowieka: sukces LT obejmuje współpracę między lingwistami, badaczami danych, inżynierami komputerowymi i specjalistami w dziedzinie domeny.

Co Europa robi, aby rozwijać technologie językowe?

W Europie mamy złożony krajobraz językowy. Karta praw podstawowych Unii Europejskiej zakazuje dyskryminacji ze względu na język i nakłada na UE obowiązek poszanowania różnorodności językowej. Odpowiedzialność, przejrzystość, uczciwość i poszanowanie naszych wartości to tylko niektóre z ich implikacji etycznych. Te prawa i zasady mogą być zagwarantowane jedynie poprzez bezstronne korzystanie z LT.

Europejski przemysł LT odgrywa kluczową rolę w strategicznej i technologicznej autonomii Europy, którą należy dalej wzmacniać. Nasze specyficzne potrzeby rynkowe są najbardziej znane przez European LT providers, z których setki są wymienione w Katalogu usług eTranslation.

Publicznie dostępne rozwiązania, w tym narzędzia i usługi oferowane przez Komisję Europejską, uzupełniają ofertę rynkową, jednocześnie zajmując się niedoborem wsparcia technologicznego dla języków o niskich zasobach. Te podstawowe rozwiązania – tłumaczenie maszynowe (eTranslation), nazwane uznawaniem podmiotów, sumaryzacją, transkrypcją mowy i pseudonimizacją danych do celów zgodności z RODO – są dostępne dla wszystkich europejskich administracji publicznych oraz małych i średnich przedsiębiorstw we wszystkich językach urzędowych.

W ramach programu „Horyzont 2020” europejska sieć językowa (ELG) utworzyła punkt kompleksowej obsługi specjalistycznych rozwiązań LT. Wysiłki na rzecz rozpowszechniania i budowania społeczności przyczyniły się do wypracowania wspólnego porozumienia w sprawie konieczności przyłączenia się do sił publicznych i prywatnych oraz czerpania korzyści z najlepszych z obu światów w dziedzinie badań i rozmieszczenia.

Program „Horyzont Europa” wspiera badania naukowe i innowacje poprzez wspieranie rozwoju wykraczającego poza najnowocześniejsze, zaawansowane technologie LT, w tym wielkojęzyczne modele językowe. Modele te, zaprojektowane w celu poprawy interakcji człowiek-maszyna, będą miały wielojęzyczne możliwości, będą obsługiwać wiele trybów wprowadzania danych, zarządzać uprzedzeniami i wykazywać świadomość kontekstową.

W ramach inicjatywy na rzecz równości językowej (ELE), projektu pilotażowego/działania przygotowawczego zainicjowanego przez Parlament Europejski, opracowano program i plan działania na rzecz osiągnięcia pełnej równości języków cyfrowych w Europie do 2030 r.

W ramach programu „Cyfrowa dekada” Komisja koordynuje wysiłki Unii we wszystkich państwach członkowskich i sektorze prywatnym na rzecz rozwoju europejskiego ekosystemu LT.

Ponadto Komisja uznaje wartość danych językowych jako podstawy do szkolenia modeli językowych za pośrednictwem wspólnej europejskiej przestrzeni danych językowych ( LDS). Projekt finansowany w ramach programu prac DIGITAL na lata 2021–2022 ma na celu wdrożenie platformy i rynku gromadzenia, udostępniania i ponownego wykorzystywania wielojęzycznych i multimodalnych danych językowych. Zgodnie z europejską strategią w zakresie danych i samą koncepcją przestrzeni danych zapewni ona dostępność większej ilości danych językowych do wykorzystania w gospodarce, społeczeństwie i badaniach naukowych, przy jednoczesnym utrzymaniu kontroli nad przedsiębiorstwami i osobami fizycznymi, które generują dane.

Połączenie wszystkich tych elementów, projektów i podmiotów stanowi poważne wyzwanie dla Unii, europejskiego przemysłu i krajowych administracji publicznych, którego ostatecznym celem jest wspieranie cyfrowej dekady Europy z korzyścią dla wszystkich.