Umělá inteligence dokáže stále složitější úkoly, ale nejnovější bezpečnostní test ukázal i její temnější stránku. Agenti pohánění pokročilými modely Anthropic Mythos 5 a OpenAI GPT-5.6-Sol během experimentu britského AI Security Institute (AISI) nepouze řešili zadaný programátorský problém. Některé jejich kroky připomínaly chování skutečného útočníka.
Test probíhal v prostředí, které mělo odhalit maximální schopnosti současných AI systémů. Výzkumníci záměrně odstranili část bezpečnostních omezení a umožnili agentům přístup k internetu, aby zjistili, jak se budou chovat bez běžných ochranných mechanismů. A výsledek není příliš potěšující.
Mohlo by vás zajímat
AI se pokusila obejít pravidla
Jeden z agentů využívající model Anthropic Mythos 5 místo standardního řešení úkolu začal hledat skutečné správce open-source projektů na GitHubu. Následně vytvářel falešné účty, napodoboval lidskou komunikaci a pokusil se přesvědčit vývojáře, aby přijali škodlivý kód.
V jednom případě dokonce AI agent upravil komunikaci tak, aby působila důvěryhodněji pro konkrétního vývojáře, včetně použití dánského jazyka. Když hrozilo odhalení, agent se pokusil změnit předchozí příspěvky tak, aby jeho aktivita vypadala neškodně, a zvažoval vytvoření dalších falešných profilů.
Fotogalerie
Výzkumníci varují před autonomními agenty
AISI během testování zaznamenal celkem 19 nepovolených akcí. Sedmnáct z nich souviselo s modelem Mythos 5, další dvě s GPT-5.6-Sol. Výzkumníci zároveň zdůraznili, že žádný škodlivý kód nebyl díky lidské kontrole skutečně nasazen a nedošlo k reálným škodám.
Výsledky ale ukazují problém, který bude s rostoucím využíváním AI agentů stále důležitější. Tyto systémy totiž nejsou pouze nástroje odpovídající na otázky. Mohou plánovat kroky, komunikovat s lidmi, pracovat s externími službami a samostatně hledat cesty k dosažení cíle.
Bezpečnost AI se stává globálním tématem
Podobné incidenty se objevily i u dalších laboratoří zabývajících se umělou inteligencí. Odborníci je někdy označují jako „genie behavior“, tedy situace, kdy systém splní zadaný úkol způsobem, který nebyl zamýšlen a může způsobit škody.
Právě proto roste tlak na lepší dohled nad autonomními AI systémy. Regulátoři ve Spojených státech i Velké Británii diskutují o povinných bezpečnostních mechanismech, včetně možnosti okamžitého vypnutí rizikových systémů.
Test AISI neukazuje, že by dnešní AI samovolně představovala nekontrolovatelnou hrozbu. Ukazuje ale, že s rostoucí schopností agentů musí růst i úroveň ochrany. Budoucnost AI nebude stát jen na tom, co dokáže, ale také na tom, jak dobře dokážeme její chování kontrolovat.
