Închide anunțul

Poate inteligența artificială să ne distrugă într-o zi? Au companii precum OpenAI suficiente măsuri de securitate? Au control deplin asupra modelelor și agenților lor de inteligență artificială? Și nu ne urmăresc prin intermediul lor? Acestea sunt doar câteva dintre numeroasele întrebări pe care aproape fiecare dintre noi ni le pune. Dar nu avem răspunsurile, iar șefii Anthropic și OpenAI, care plănuiesc o listare la bursă anticipată, încearcă să ne amețească cu afirmații de securitate 100%. Dar acum, dintr-o dată, cel mai recent model GPT-6.1 Astra a fost rechemat de la bursă. Și întrebările au revenit.

OpenAI a introdus GPT-6 Astra abia la începutul lunii septembrie, iar experții în securitate cibernetică s-au alarmat imediat. Creatorii modelului nu au făcut secret din capacitățile sale avansate, care ar putea fi ușor abuzate de hackeri . Iar Astra a demonstrat, de asemenea, că își poate ascunde procesele de gândire. Mulți oameni, inclusiv eu, și-au amintit de incidentul recent când un agent OpenAI AI s-a eliberat literalmente din lanț în timpul unui test izolat de internet și a atacat platforma Hugging Face . Compania a descris-o ca fiind un caz izolat. Dar acum se întâmplă ceva.

OpenAI a anulat brusc planurile de lansare a GPT-6.1 Astra , care urma să fie lansată în octombrie , din cauza îngrijorărilor că modelul s-ar putea comporta imprevizibil.

GPT-6.1 Astra ca sursă de pericol

Modelul GPT-6.1 Astra ar putea fi literalmente revoluționar. Creatorii săi au indicat până acum că poate face față „Rezolvarea sarcinilor dificile de la început până la sfârșit fără asistență umană, precum și scrierea”Dar, în comparație cu predecesorul său, el s-a deteriorat și în două domenii – în mod demonstrabil mai puțin cooperant cu utilizatorii și le îndeplinesc comenzile mai puțin de bunăvoie, plus mai des înșealăȘi prin asta nu mă refer la halucinația clasică a modelelor comune ChatGPT disponibil gratuit. Acestea sunt minciuni cu adevărat periculoase și ascundere de informațiimacși.

Directorul de securitate al OpenAI, Saachi Jain, a recunoscut chiar că testele au arătat că modelul a continuat dincolo de scopul sarcinii fără permisiunea utilizatorului. Ceea ce le-ar putea aminti multora de legendarul Skynet din seria de filme Terminator.

Este probabil ca firma să lanseze modelul oricum, deși mai târziu. Acesta ar trebui să fie disponibil utilizatorilor plătitori în termen de ChatGPT i CodexDar va fi necesar să o corectăm și să o îmblânzim. Ajungem la limita îmbunătățirilor periculoase. inteligenţă artificialăasupra cărora pierdem controlul.

Și poate de aceea a venit compania acum NVIDIA cu o platformă deschisă numită Platformă deschisă pentru siguranța agenților, care își propune să blocheze literalmente agenții de inteligență artificială și să îi oprească în caz de comportament riscant. Proiectul a fost creat cu sprijinul a aproximativ o sută de alte companii, inclusiv Microsoftu dacă SpaceX și este disponibil prin GitHubDar întrebarea este dacă va fi suficient.

Cel mai citit de azi

.