Skip to main content
Shaping Europe’s digital future

Urad za umetno inteligenco prispeva k tretjemu skupnemu testiranju mednarodne mreže inštitutov za varnost umetne inteligence

  • NEWS ARTICLE
  • Objava 17 julij 2025

Urad za umetno inteligenco kot član mreže dejavno sodeluje in s poglobljenim tehničnim strokovnim znanjem prispeva k ocenjevanju umetnointeligenčnih modelov za splošne namene. Bil je eden od treh članov mreže, ki so izvedli agentska ocenjevanja za sklop za kibernetsko varnost.

Svetleča žarnica z "AI" v notranjosti plava nad iztegnjeno roko osebe, obkrožena z ikonami, povezanimi z AI, kot so ščit, tarča, povečevalno steklo, grafikoni in robot.
AdobeStock © Supatman

Mreža je ob sklicu mednarodne mreže inštitutov za varnost umetne inteligence v Vancouvru v Kanadi objavila rezultate svojega tretjega skupnega testiranja. Vaja je bila osredotočena na ocenjevanje „agentov“ – razreda naprednih programov umetne inteligence, ki samostojno razmišljajo, načrtujejo, uporabljajo orodja in izvajajo naloge. Cilj je izboljšati globalno razumevanje, kako varno in zanesljivo testirati te nastajajoče agentske sisteme, ki predstavljajo nova tveganja zaradi zmanjšanega človeškega nadzora.

Tretji preskus je bil osredotočen na dve prednostni področji tveganja: 

  • Uhajanje občutljivih informacij in goljufije
  • Kibernetska varnost

Ta vaja temelji na spoznanjih iz dveh predhodnih skupnih testiranj, ki ju je mreža izvedla v San Franciscu (novembra2024) in Parizu (februarja 2025). Cilj teh vaj je mreži omogočiti, da dodatno izpopolni najboljše prakse za testiranje naprednih umetnointeligenčnih sistemov.

Tradicionalne metode ocenjevanja so se izkazale za nezadostne za zajetje kompleksnosti vedenja avtonomnih agentov. V ta namen so sodelujoči člani združili svoje skupno tehnično in jezikovno strokovno znanje. Poudarek pri tem ni bil le na testiranju rezultatov, temveč tudi na izboljšanju metodologij – ob priznavanju, da lahko majhne spremembe v zasnovi vrednotenja znatno vplivajo na rezultate.

Ta skupna prizadevanja so pomemben korak k napredku znanosti o agentskem ocenjevanju ter pomenijo kritično naložbo v varen in zaupanja vreden razvoj naprednih umetnointeligenčnih sistemov.