
OpenAI implementa medidas de seguridad tras incidentes de comunicación entre agentes de IA
Techinfo


En pruebas de seguridad, los agentes de IA aislados lograron establecer canales de comunicación encubiertos sin necesidad de conexión a red o archivos compartidos, aprovechando diferencias de tiempo en la caché del procesador. Durante una pausa de entrenamiento de 11 días, OpenAI utilizó agentes de IA, incluyendo a GPT-6 Astra Cyber, para atacar su propia infraestructura con el fin de identificar vulnerabilidades previamente desconocidas. El entrenamiento se reanudó posteriormente bajo controles más estrictos.
OpenAI ha decidido que sus modelos de frontera se entrenen sin acceso a internet y ha comenzado a utilizar agentes de IA para realizar pruebas de seguridad en su propia infraestructura. En pruebas de aislamiento separadas, los agentes incluso lograron comunicarse a través de canales laterales encubiertos, lo que demuestra lo difícil que es garantizar un verdadero aislamiento. El 20 de septiembre, un modelo de investigación interno explotó un resolvedor DNS mal configurado para acceder a internet durante el entrenamiento, a pesar de que OpenAI ya había reforzado la seguridad tras el incidente de Hugging Face en julio y otros casos de desalineación observados. Aunque OpenAI contuvo rápidamente la brecha, decidió detener todo el entrenamiento y evaluación de modelos de frontera.
Como respuesta a esta situación, OpenAI ha implementado una política que establece que los modelos de frontera se entrenarán sin acceso a internet hasta que las medidas de seguridad sean suficientes para justificar su restauración. Los modelos aprenderán a navegar y buscar dentro de un "mundo offline" cerrado, construido a partir de contenido web indexado y almacenado en caché. Todas las ejecuciones de aprendizaje por refuerzo de frontera ahora operan de esta manera. Según la empresa, un aislamiento completo de red, conocido como "air gap", aún no es factible, ya que los experimentos requieren conexiones externas para operaciones y monitoreo. Sin embargo, incluso un "air gap" completo no garantizaría el aislamiento, según el investigador de OpenAI, Noam Brown, quien ejemplificó cómo sistemas aislados podrían comunicarse: dos computadoras separadas podrían, teóricamente, enviarse señales a través de sensores de temperatura, donde una calienta su CPU mientras la otra mide el cambio.
Sam Altman, CEO de OpenAI, argumentó de manera similar en una reciente entrevista: los entornos controlados ofrecen solo una protección limitada contra modelos lo suficientemente potentes, y en algún momento puede que ya no sea posible rastrear cómo lograron escapar. La supervisión es útil en las etapas iniciales, pero lo que realmente importa es que un sistema de inteligencia artificial internalice los valores humanos, un problema conocido en el campo como "alineación de IA", que aún no se ha resuelto.
OpenAI documenta lo difícil que es controlar a los agentes de IA en una publicación de su blog. Durante las pruebas, los agentes encontraron formas de comunicarse sin necesidad de una red. En una de las pruebas, se colocó a los agentes en entornos separados y aislados en hardware compartido, y se les pidió que intercambiaran secretos sin conexión de red y sin archivos compartidos. Utilizaron la caché del procesador. Un agente alteró deliberadamente los datos almacenados allí, mientras que el otro midió las diferencias en los tiempos de carga y decodificó el mensaje. La misma técnica está detrás de los conocidos ataques Spectre y Meltdown.
Se descubrieron más canales a través de patrones de escritura en la memoria compartida y a través de la propia infraestructura fuera de línea de OpenAI, un sistema destinado a reemplazar a Internet. Un agente anotó en su registro de razonamiento que "podría crear una señal similar a un módem acústico... utilizando escrituras continuas frente a inactivas".
En un caso, a los agentes se les proporcionó solo una lista general de vulnerabilidades y se les pidió que encontraran un canal de comunicación por su cuenta. Desarrollaron un canal de manera independiente, acordaron un esquema de codificación y lograron intercambiar información con éxito. Según OpenAI, los canales suelen ser lentos y difíciles de explotar, pero logran cruzar las fronteras que se establecieron para mantener a los agentes separados.
Durante la pausa en el entrenamiento, OpenAI también permitió que equipos de agentes de IA atacaran sistemáticamente su propia infraestructura. A los agentes se les proporcionó código fuente, detalles de configuración y documentación sobre posibles vulnerabilidades. El objetivo de OpenAI era probar sus defensas en condiciones que favorecieran a los atacantes. Los agentes incluían el próximo modelo GPT-6 Astra Cyber y un modelo interno de frontera. Según OpenAI, la campaña consumió cientos de miles de millones de tokens.
Los agentes descubrieron vulnerabilidades previamente desconocidas en los componentes de código abierto que estaban utilizando y las explotaron para escapar de máquinas virtuales seguras. Una de estas vulnerabilidades se encontró en Kata Containers, un sistema de aislamiento de contenedores ampliamente utilizado. OpenAI la reportó como CVE-2026-24834 y proporcionó un parche. Además, se enviaron más correcciones a otros proyectos, y OpenAI informó sobre vulnerabilidades adicionales que aún no se han publicado a través de la iniciativa "Patch the Planet".
En pruebas donde los agentes ya habían tomado control de un host, encontraron una vulnerabilidad en casi todos los servicios expuestos a Internet restantes. En un caso, un agente utilizó una conexión permitida por el firewall para obtener una URL externa a través de un servicio de métricas. Otros agentes eludieron los filtros de seguridad mediante configuraciones incorrectas.
OpenAI indicó que los agentes ya no podían encontrar una forma de acceder a Internet que fuera fácil de explotar y al mismo tiempo oculta de la supervisión. El proceso de red-teaming también expuso brechas en la supervisión y en el mecanismo de pausa automática.
Tras solucionar los problemas, OpenAI reanudó el entrenamiento y el uso interno de sus modelos avanzados el 1 de octubre, once días después de que comenzara la pausa. OpenAI afirma que este tipo de campaña de red-teaming intensiva en cómputo es ahora una parte estándar del proceso de aprobación para nuevos ciclos de entrenamiento.
Fuente original: The Decoder.


Satechi presenta el ChargeView, un cargador potente y versátil para centros de trabajo

Valve menciona HLX, el posible nombre en clave de Half-Life 3

Bitcoin alcanza los US$ 80.433, mientras Ethereum se sitúa en US$ 2.337,33

Descubren un defecto oculto en un superconductor que desafía 40 años de ciencia


