¿Podría la inteligencia artificial aniquilarnos algún día? ¿Cuentan empresas como OpenAI con medidas de seguridad suficientes? ¿Tienen control total sobre sus modelos y agentes de IA? ¿No nos rastrean a través de ellos? Estas son solo algunas de las muchas preguntas que casi todos nos hacemos. Pero no tenemos las respuestas, y los directivos de Anthropic y OpenAI, que planean una salida a bolsa anticipada, intentan tranquilizarnos con afirmaciones de seguridad absoluta. Sin embargo, de repente, el último modelo GPT-6.1 Astra ha sido retirado del mercado. Y las preguntas han vuelto.
OpenAI presentó GPT-6 Astra a principios de septiembre, y los expertos en ciberseguridad se alarmaron de inmediato. Los creadores del modelo no ocultaron sus avanzadas capacidades, que podrían ser fácilmente explotadas por hackers . Además, Astra ha demostrado ser capaz de ocultar sus procesos mentales. Muchos, incluyéndome, recordaron el reciente incidente en el que un agente de IA de OpenAI se escapó de la cadena durante una prueba aislada de Internet y atacó la plataforma Hugging Face . La compañía lo describió como un caso aislado. Pero ahora algo está sucediendo.
OpenAI ha cancelado abruptamente sus planes de lanzar GPT-6.1 Astra , cuyo lanzamiento estaba previsto para octubre , debido a la preocupación de que el modelo pudiera comportarse de forma impredecible.
Podría interesarle
GPT-6.1 Astra como fuente de peligro
El modelo GPT-6.1 Astra podría ser literalmente revolucionario. Sus creadores han indicado hasta ahora que puede manejar "Completar tareas desafiantes de principio a fin sin ayuda humana, así como escribir".Pero comparado con su predecesor, también ha empeorado en dos áreas, demostrablemente menos cooperativo con los usuarios y con menos disposición para cumplir sus pedidos, además de que con mayor frecuencia engañaY con eso no me refiero a la clásica alucinación de los modelos comunes. ChatGPT Disponibles gratuitamente. Se trata de mentiras y ocultamientos de información realmente peligrosos.mací.
Saachi Jain, jefa de seguridad de OpenAI , incluso admitió que las pruebas demostraron que el modelo continuaba más allá del alcance de la tarea, sin el permiso del usuario. Esto puede recordar a muchos a la legendaria Skynet de la saga de películas Terminator.
Galería de fotos
Es probable que la empresa lance el modelo de todos modos, aunque más tarde. Entonces debería estar disponible para los usuarios de pago dentro del ChatGPT i CódicePero será necesario corregirlo y controlarlo. Estamos llegando al límite de mejoras peligrosas. inteligencia artificialsobre lo cual perdemos el control.
Y tal vez por eso la empresa ha llegado NVIDIA con una plataforma abierta llamada Plataforma de seguridad de agente abierto, que tiene como objetivo bloquear literalmente a los agentes de IA y detenerlos en caso de comportamiento arriesgado. El proyecto fue creado con el apoyo de alrededor de un centenar de otras empresas, incluidas Microsoftu o SpaceX y está disponible a través de GitHubPero la pregunta es si será suficiente.
