Může nás umělá inteligence jednou vyhladit? Dodržují firmy jako OpenAI dostatečná bezpečnostní opatření? Mají své modely a AI agenty plně pod kontrolou? A nesledují nás jejich prostřednictvím? To je jen pár z mnoha otázek, které si klade skoro každý z nás. Odpovědi na ně ale nemáme a šéfové Anthropic a OpenAI, plánující brzký vstup na burzu, se nás snaží ukolíbat tvrzením o 100% bezpečnosti. Jenže teď náhle došlo ke stažení nejnovějšího modelu GPT-6.1 Astra. A otázky jsou tu zase.
OpenAI představila GPT-6 Astra teprve na začátku září a odborníci na kyberbezpečnosti ihned zbystřili. Tvůrci modelu se totiž nijak netajili jeho pokročilými schopnostmi, které by snadno mohly být zneužity hackery. A navíc se ukázalo, že Astra dokáže tajit své myšlenkové pochody. Mnoha lidem včetně mě tak vytanul na mysli nedávný incident, kdy se AI agent OpenAI při testu izolovaném od internetu doslova utrhl ze řetězu a napadl platformu Hugging Face. Firma to označila za ojedinělý případ. Ale teď se něco děje.
OpenAI náhle zrušila plán na vydání GPT-6.1 Astra, k čemuž mělo dojít už v říjnu. Důvodem jsou obavy, že se model může chovat zcela nepředvídatelně.
Mohlo by vás zajímat
GPT-6.1 Astra jako zdroj nebezpečí
Model GPT-6.1 Astra by přitom mohl být doslova revoluční. Jeho tvůrci o něm zatím naznačují, že zvládá „plnění náročných úkolů od začátku do konce bez lidské pomoci a také psaní“. Jenže oproti svému předchůdci si i ve dvou oblastech pohoršil – prokazatelně hůř spolupracuje s uživateli a méně ochotně plní jejich příkazy, plus častěji klame. A tím nemíním klasické halucinování běžných modelů ChatGPT dostupných zdarma. Tohle jsou skutečně nebezpečné lži a zatajování informací.
Šéfka bezpečnosti OpenAI Saachi Jain dokonce přiznala, že při testech se ukázalo, že model pokračoval za hranice rozsahu úkolu, a to bez svolení uživatele. Což už mnoha lidem může připomínat legendární Skynet ze série filmů Terminátor.
Fotogalerie
Je pravděpodobné, že firma model přesto vydá, i když poději. Měl by pak být dostupný pro platící uživatele v rámci v ChatGPT i Codexu. Ale bude nutné poupravit ho a zkrotit. Dostáváme se totiž na hranici nebezpečných vylepšení umělé inteligence, nad nimiž ztrácíme kontrolu.
A možná i proto nyní přišla společnost NVIDIA s otevřenou platformou nazvanou Open Agent Safety Platform, která má za cíl doslova uzamknout AI agenty a v případě rizikového jednání je zastavit. Projekt vznikl za podpory další zhruba stovky firem včetně Microsoftu či SpaceX a je dostupný přes GitHub. Je ale otázkou, jestli bude stačit.
