Чи може штучний інтелект колись нас повністю знищити? Чи мають такі компанії, як OpenAI, достатні заходи безпеки? Чи мають вони повний контроль над своїми моделями та агентами ШІ? І чи не відстежують вони нас через них? Це лише кілька з багатьох питань, які ставить собі майже кожен із нас. Але у нас немає відповідей, а керівники Anthropic та OpenAI, які планують швидке IPO, намагаються заколисувати нас заявами про 100% безпеку. Але тепер раптово останню модель Astra GPT-6.1 відкликали. І питання повернулися.
OpenAI представив GPT-6 Astra лише на початку вересня, і експерти з кібербезпеки одразу ж занепокоїлися. Творці моделі не приховували її розширених можливостей, якими хакери могли легко зловживати . А Astra також показала, що може приховувати свої думкові процеси. Багатьом людям, включаючи мене, нагадав нещодавній інцидент, коли агент штучного інтелекту OpenAI буквально вирвався з ланцюга під час ізольованого від Інтернету тесту та атакував платформу Hugging Face . Компанія описала це як поодинокий випадок. Але тепер щось відбувається.
OpenAI раптово скасував плани випуску GPT-6.1 Astra , реліз якого був запланований на жовтень , через побоювання, що модель може поводитися непередбачувано.
Вас може зацікавити
GPT-6.1 Astra як джерело небезпеки
Модель GPT-6.1 Astra може бути буквально революційною. Її творці поки що зазначили, що вона може впоратися "Виконання складних завдань від початку до кінця без допомоги людини, а також письмо"Але порівняно зі своїм попередником, він також погіршився у двох сферах – очевидно менш кооперативний з користувачами та менш охоче виконують їхні замовлення, а також частіше обманюєІ під цим я не маю на увазі класичні галюцинації поширених моделей ChatGPT доступно безкоштовно. Це справді небезпечна брехня та приховування інформаціїmacа.
Головний спеціаліст з безпеки OpenAI Саачі Джайн навіть визнав, що тести показали, що модель продовжувала працювати поза межами завдання, без дозволу користувача. Що може нагадати багатьом людям легендарний Скайнет із серії фільмів про Термінатора.
Фото галерея
Цілком ймовірно, що компанія все одно випустить модель, хоча й пізніше. Після цього вона має стати доступною для платних користувачів протягом ChatGPT i КодексАле це потрібно буде виправити та приборкати. Ми досягаємо межі небезпечних покращень. штучний інтелектнад якими ми втрачаємо контроль.
І, можливо, саме тому компанія зараз прийшла NVIDIA з відкритою платформою під назвою Відкрита платформа безпеки агентів, метою якого є буквально блокування агентів штучного інтелекту та зупинка їх у разі ризикованої поведінки. Проєкт було створено за підтримки близько ста інших компаній, зокрема Microsoftu чи SpaceX і доступний через GitHubАле питання в тому, чи цього буде достатньо.
