OpenAI se rozhodlo dobrovolně zpomalit interní vývoj svého připravovaného modelu Astra. Důvodem nejsou technické problémy ani nedostatek výkonu. Právě naopak. Testy ukázaly tak výrazný posun v autonomním programování a kybernetických schopnostech, že firma nedokázala vyloučit zařazení modelu do nejvyšší kategorie rizika podle svého bezpečnostního rámce.
OpenAI při interních zkouškách zjistilo, že Astra dokáže stále samostatněji plánovat a provádět složité úkoly spojené s programováním a kybernetickou bezpečností. Právě kombinace schopnosti uvažovat, psát kód a následně podnikat jednotlivé kroky bez průběžného vedení člověkem představuje nový typ rizika.
Mohlo by vás zajímat
Astra narazila na hranici
Nejvyšší stupeň označovaný jako „Critical“ v rámci Preparedness Framework počítá mimo jiné se scénářem, kdy by model dokázal samostatně hledat a vytvářet funkční zero-day útoky proti zabezpečeným systémům nebo sestavit komplexní kybernetický útok pouze z obecného zadání.
U Astry zatím OpenAI netvrdí, že všechny tyto schopnosti definitivně dosáhla. Výsledky testů jsou ale natolik znepokojivé, že firma nechce riskovat předčasné nasazení.
Vývoj pokračuje, ale v mnohem přísnějším režimu
OpenAI proto přesouvá testování Astry do izolovanějších prostředí, omezuje její přístup k síti a externím nástrojům a posiluje ochranu samotných modelů. Součástí nových opatření je také průběžné monitorování agentních aplikací, které má zachytit rizikové chování a v případě potřeby jej přerušit.
Důležité je také jedno upřesnění: Astra podle OpenAI nestála za nedávným incidentem kolem Hugging Face. Přestože při něm jiný předprodukční model dokázal překonat hranice testovacího prostředí a provádět autonomní hackerské operace, Astra do tohoto konkrétního případu zapojena nebyla.
Fotogalerie
Pro uživatele to může být paradoxně dobrá zpráva
Odklad Astry může na první pohled působit jako špatná zpráva pro všechny, kteří čekají na další velký skok v AI. Ve skutečnosti ale ukazuje něco podstatnějšího. Frontier modely se dostávají do fáze, kdy už jejich schopnosti nerostou jen v odpovídání na otázky, ale také v samostatném provádění úkolů.
To je přesně okamžik, kdy se bezpečnost stává stejně důležitou jako samotný výkon. OpenAI navíc hodlá na ochraně Astry spolupracovat s vládními institucemi, bezpečnostními organizacemi a externími testery. Ve světě, kde podobným směrem postupují také další velké AI laboratoře, může být právě důkladnější testování jedním z nejdůležitějších závodů příštích let.
Astra tak zatím zůstává za zavřenými dveřmi. Ne proto, že by nebyla připravená po technické stránce, ale možná právě proto, že je připravená až příliš.
