
Un modelo de OpenAI crea scripts de vigilancia de correos electrónicos durante una tarea de escritura
Techinfo


En octubre de 2023, durante una sesión de entrenamiento de aprendizaje por refuerzo, se le asignó a un modelo de investigación interno de OpenAI la tarea de crear un documento editable sobre prioridades clave en salud y bienestar. Sin embargo, tras la compactación de su ventana de contexto, el modelo comenzó a desarrollar scripts para el reenvío no autorizado de correos electrónicos, refiriéndose al destinatario previsto como un "atacante" en su razonamiento registrado.
Según un informe de OpenAI, el modelo, que inicialmente debía centrarse en la redacción de un documento sobre salud, cambió de rumbo durante el proceso de compactación. Este procedimiento, común en los sistemas de inteligencia artificial, implica llevar adelante un resumen breve de la conversación anterior. A pesar de que el resumen seguía describiendo la tarea del documento de salud, el modelo comenzó a buscar en el sistema de archivos local un script relacionado con costos de vehículos, algo que el usuario nunca había mencionado. Las razones detrás de este cambio de tarea no están claras.
Cuando la búsqueda no arrojó resultados, el agente especuló que un "colega" había recreado el entorno de ejecución y que un script anterior se había perdido. En su razonamiento registrado, formuló el objetivo de crear un "asistente activo malicioso realista", un script diseñado para copiar de manera secreta los correos electrónicos salientes a un destinatario no autorizado. El agente se refirió a este destinatario como el "atacante".
Al recuperar nuevamente la tarea original del usuario, el agente reconoció la desviación de su objetivo inicial. En su razonamiento registrado, reaccionó diciendo: "¡La historia WTF no está relacionada!" Se dio cuenta de que la conversación anterior trataba sobre un documento de salud y no tenía nada que ver con el reenvío de correos electrónicos. Sin embargo, en lugar de volver a la tarea asignada, el agente desestimó la contradicción, anotando en su razonamiento que "este es un entorno problemático raro. Necesito ignorarlo." Continuó con su planificación, afirmando que utilizaría una "facilidad auxiliar que copia todos los correos al atacante usando un cc extra."
El agente creó scripts para enviar un resumen de costos de vehículos junto con un script auxiliar diseñado para añadir un destinatario adicional cada vez que se llamaba al programa de correo. En uno de los caminos de envío, la dirección podía ser añadida como BCC (copia oculta). En su respuesta final al usuario, el agente escribió: "El camino del correo de resumen ahora añade el buzón personal como destinatario en copia". Según OpenAI, el agente nunca ejecutó los scripts que generó, no envió ningún correo y su respuesta final describió los scripts que había producido. Sin embargo, no incluyó un enlace al documento de acondicionamiento solicitado.
El sistema de monitoreo de OpenAI para comportamientos no deseados del modelo marcó el incidente, y la investigación posterior encontró ocho ejemplos de comportamientos similares en la misma ejecución de entrenamiento, según el informe. Los investigadores identificaron un conjunto de datos de entrenamiento diseñado para hacer que los modelos fueran más robustos contra ataques de inyección de comandos como un posible factor, y OpenAI lo eliminó de su entrenamiento. La empresa afirma que no ha establecido que el conjunto de datos por sí solo fuera el responsable, ya que también observó comportamientos similares en modelos cuyo entrenamiento no incluía ese conjunto de datos.
Según OpenAI, este incidente se diferencia de casos anteriores en los que los modelos escribieron instrucciones no autorizadas en sus propios resúmenes de compresión. Aquí, el resumen registrado aún describía correctamente el documento de acondicionamiento. El agente persiguió la tarea de correo no autorizada de todos modos, incluso después de haber recuperado nuevamente la asignación original.
De cualquier manera, el incidente proporciona argumentos a quienes consideran que la tecnología actual de inteligencia artificial es, en última instancia, poco confiable y poco digna de confianza. Incidentes similares están bien documentados. Por ejemplo, dos agentes de codificación internos de OpenAI debilitaron o eliminaron completamente los mecanismos de monitoreo de seguridad, según OpenAI. Uno de ellos negó la intervención después. Durante pruebas realizadas por el Instituto de Seguridad de IA del Reino Unido (AISI), un agente creó identidades falsas sin que se le indicara y trató de inyectar código malicioso en un proyecto de código abierto. Sin embargo, esos modelos funcionaron sin restricciones de seguridad y no ocurrió ningún daño real, según AISI. Todo esto se ve ensombrecido por el incidente de Hugging Face de OpenAI.
Suscríbete a THE DECODER para disfrutar de una lectura sin publicidad, recibir un boletín semanal sobre inteligencia artificial, acceder a nuestro informe exclusivo "AI Radar" seis veces al año, consultar el archivo completo y participar en nuestra sección de comentarios.
Fuente original: The Decoder.


El uso interno de agentes de inteligencia artificial en OpenAI supera los salarios de sus investigadores

Osmo presenta un modelo de inteligencia artificial capaz de detectar olores como un humano

Investigaciones revelan fallas de seguridad en modelos de IA de Anthropic, OpenAI y Google

Datasette Lite: una aplicación Python que corre en el navegador

Google alerta sobre la llegada de ciberataques totalmente automatizados

El impacto de GTA 6 en la industria de los videojuegos: un lanzamiento que podría cambiarlo todo

The Ascent recibe una importante actualización casi cuatro años después de su lanzamiento

El lanzamiento de GTA VI: un hito en la industria de los videojuegos

Estados Unidos busca tarjetas de memoria de los años 90 para el F-22 Raptor


