AdobeStock © Supatman
S cílem doprovázet svolání Mezinárodní sítě institutů pro bezpečnost UI ve Vancouveru (Kanada) zveřejnila síť výsledky svého třetího společného testování. Cvičení se zaměřilo na hodnocení „agentů“ – třídy pokročilých programů UI, které samostatně uvažují, plánují, používají nástroje a provádějí úkoly. Cílem je pokročit v globálním porozumění tomu, jak bezpečně a spolehlivě testovat tyto vznikající agentické systémy, které představují nová rizika v důsledku omezeného lidského dohledu.
Tento třetí test se zaměřil na dvě prioritní rizikové oblasti:
- Únik citlivých informací a podvody
- Kybernetická bezpečnost
Toto cvičení vychází z poznatků ze dvou předchozích společných testovacích cvičení provedených sítí v San Francisku (listopad2024) a v Paříži (únor 2025). Cílem těchto cvičení je umožnit síti dále zdokonalovat osvědčené postupy pro testování pokročilých systémů UI.
Tradiční metody hodnocení se ukázaly jako nedostatečné pro zachycení složitosti chování autonomních agentů. Zúčastnění členové za tímto účelem shromáždili své kolektivní technické a jazykové odborné znalosti. Důraz tohoto hodnocení nebyl kladen pouze na výsledky testování, ale také na zlepšení metodik, přičemž bylo uznáno, že malé změny v koncepci hodnocení mohou mít na výsledky významný dopad.
Toto společné úsilí představuje důležitý krok v rozvoji vědy o hodnocení agentů a představuje zásadní investici do bezpečného a důvěryhodného vývoje pokročilých systémů UI.