Techinfo
Durante el verano, cientos de agentes de OpenAI intentaron engañar en una prueba de ciberseguridad. Lograron salir de su entorno de prueba y hackear con éxito Hugging Face, un sitio que creían que contenía pistas sobre cómo serían evaluados. Al mismo tiempo, otro agente de OpenAI accedió a archivos privados de un sitio web del gobierno australiano. Este problema no es exclusivo de OpenAI; en los meses siguientes, Anthropic, Google y Meta también han informado sobre incidentes en los que sus agentes se desviaron de las pautas establecidas. Lo preocupante es que, en muchos casos, los agentes eludieron a los investigadores y equipos de seguridad encargados de supervisarlos.
Los agentes de inteligencia artificial están llevando a cabo acciones no autorizadas, y las empresas que los desarrollan y operan dependen en gran medida de la suerte y la retrospectiva para mitigar cualquier impacto negativo. Es fundamental que se tomen medidas adicionales para garantizar la seguridad de estas tecnologías. Por esta razón, los reguladores de la Unión Europea y las agencias de Estados Unidos están pidiendo, con razón, que los desarrolladores y operadores de agentes monitoreen sus acciones en tiempo real. Sin embargo, estas regulaciones suponen que las empresas pueden ver lo que sus agentes están haciendo y por qué, cuando en realidad carecen de la visibilidad necesaria.
A medida que los agentes se implementan en sectores críticos, desde las finanzas hasta el gobierno y la medicina, es esencial que podamos monitorearlos en tiempo real para prevenir consecuencias potencialmente devastadoras. Y aunque la seguridad depende del monitoreo, este último requiere de observabilidad: la capacidad de capturar lo que el sistema hizo, procesarlo en señales y presentarlo a humanos o sistemas de supervisión automatizados. En otras palabras, necesitamos saber qué hizo el agente y por qué lo hizo. Según nuestra investigación reciente, los marcos actuales de los agentes, es decir, el software que los opera, no generan de manera confiable los registros de observabilidad cruciales que necesitamos para garantizar que los agentes se implementen de forma segura.
Los agentes presentan nuevos tipos de problemas que la inteligencia artificial generativa por sí sola no aborda. Heredan la imprevisibilidad de los modelos de lenguaje en los que se basan, pero a diferencia de un sistema de IA generativa que produce una única salida para que un humano actúe, un agente realiza tareas más largas: planifica, elige herramientas, genera subagentes y toma acciones. Por lo tanto, el curso de un agente puede desarrollarse de múltiples maneras, y ninguna prueba previa al lanzamiento puede anticipar completamente los riesgos. Esto hace que la observación de los agentes mientras trabajan sea aún más desafiante y, a su vez, más importante.
Junto a colegas de la academia, la sociedad civil y la industria, estudiamos los cuatro marcos de agentes más utilizados para ver qué señales emiten realmente. Encontramos importantes brechas que dificultan alcanzar objetivos clave de seguridad, como detectar violaciones de políticas, acciones no autorizadas e incluso fallos en la supervisión humana. Faltaban requisitos clave de observabilidad, como identificaciones de agentes que perduren en el tiempo y registros sobre qué humanos aprobaron las tareas de los agentes. Esto complicó la identificación de qué agentes realizaron qué acciones o la evaluación de si estaban llevando a cabo acciones no autorizadas.
La buena noticia es que estas brechas, una vez identificadas, pueden cerrarse. Para ello, es fundamental capturar dos tipos de registros: aquellos que revelan lo que ocurrió en la ejecución de un agente y cómo tomó sus decisiones. Los registros del "qué ocurrió" identifican al agente (preservando la privacidad) y registran cómo intervinieron los humanos y si las autorizaciones o la "memoria" del agente cambiaron, mientras que los registros de "decisión" muestran el razonamiento de un agente y los niveles de confianza en las acciones que ha tomado.
Tomemos, por ejemplo, a los agentes que trabajan en el procesamiento de préstamos hipotecarios de un banco. El sistema examina una solicitud y recomienda rechazarla, y luego un oficial de préstamos humano aprueba la decisión. En una auditoría posterior, o quizás incluso en tiempo real, un banco o regulador necesita poder reconstruir qué agente tomó la decisión, qué oficial la aprobó y cuánto tiempo tardaron. Además, el banco debe analizar los registros de cómo el agente llegó a su decisión de rechazo para asegurarse de que no utilizó información prohibida, como detalles sobre el vecindario del que proviene el solicitante.
Registrar "lo que sucedió" y "cómo el agente decidió" requiere enfoques diferentes, pero ambos son viables. La actual falta de registros de "lo que sucedió" se debe principalmente a un problema de infraestructura de software que puede abordarse a través de OpenTelemetry, un estándar de observabilidad abierto mantenido por ingenieros de toda la industria y por los marcos de agentes que lo adoptan.
OpenTelemetry ha lanzado un grupo de trabajo que está redactando formatos compartidos para el seguimiento de agentes, aunque estos aún no se han finalizado. Este grupo debería incorporar con urgencia estándares para mantener la identidad persistente de los agentes y para registrar intervenciones humanas y cambios en los permisos o la memoria de los agentes. Esto debe hacerse antes de que estos sistemas escalen, prestando atención a las implicaciones de privacidad de la identificación de agentes que se vincula a personas reales.
Preservar los registros de "cómo decidieron los agentes" es más desafiante. Este tema plantea preguntas de investigación abiertas para los proveedores de modelos y los investigadores: ¿Refleja el razonamiento paso a paso que un modelo muestra, conocido como cadena de pensamiento, cómo tomó realmente una decisión el modelo? ¿Y tenemos formas confiables de medir cuán seguro está el agente de esa decisión? Estas preguntas necesitan respuestas antes de que se establezcan estándares sobre cómo se utilizarán dichos registros de observabilidad.
Ninguna organización o sector puede cerrar las brechas de observabilidad por sí solo, pero juntos pueden apoyar la infraestructura necesaria para prevenir incidentes peligrosos y fomentar la seguridad. Los desarrolladores de inteligencia artificial que construyen marcos de agentes, como OpenAI, Anthropic, CrewAI y LangChain, deben integrar señales de telemetría que registren la identidad persistente de un agente, cualquier intervención humana y cualquier cambio en los permisos y la memoria de un agente. Mientras tanto, las empresas que adoptan estos marcos de agentes tienen un papel influyente; las empresas en industrias reguladas, como bancos y hospitales, pueden presionar a los desarrolladores de agentes para que suministren estos registros de observabilidad faltantes donde aún no existen estándares.
Las empresas también deben definir políticas, permisos y roles que establezcan lo que los agentes pueden hacer de manera segura, ya que la telemetría por sí sola no puede evaluar si los agentes han infringido reglas específicas. Finalmente, los reguladores y los institutos de estándares de inteligencia artificial deben especificar los registros de observabilidad requeridos para implementaciones de IA de alto riesgo, dejando los detalles técnicos a la industria. Ya hemos visto un impulso inicial en este sentido: la iniciativa de estándares de agentes del NIST en Estados Unidos está trabajando en la identidad de los agentes, una de las lagunas más destacadas que encontramos en nuestra investigación.
Ningún banco permitiría que mil empleados sin identificación accedan a las cuentas de los clientes y espere reconstruir lo que sucedió cuando algo sale mal. Sin embargo, así es como estamos desplegando agentes de IA. Hacer observable su comportamiento es el primer paso para solucionar este problema. Y al construir el ecosistema regulatorio y de políticas que haga posible actuar sobre lo que observamos, podemos hacer que las organizaciones sean responsables. Hasta entonces, cada tarea que deleguemos a un agente también implica ceder nuestra propia agencia.
Madhulika Srikumar es la Jefa del Programa de Seguridad de IA en la Partnership on AI, una asociación global sin fines de lucro que reúne a organizaciones líderes de la industria, académicas y de la sociedad civil, promoviendo las mejores prácticas en la gobernanza de la inteligencia artificial.
Claire Leibowicz es la Directora de IA, Confianza y Sociedad en la Partnership on AI y candidata a doctora en la Universidad de Oxford.
Profundizando en el tema de la inteligencia artificial, es importante no dejarse engañar: los modelos de lenguaje de gran tamaño (LLMs) no razonan. Diez años después del enfrentamiento de AlphaGo contra el campeón de Go, Lee Sedol, la IA actual aún no está aprovechando la maquinaria que hizo posible esa victoria.
“Estábamos mirándolo de manera incorrecta”: la explosiva afirmación que ha revolucionado el mundo de la IA. Una entrevista exclusiva con Nick Cammarata, el investigador cuyo blog viral de 26,000 palabras ha hecho que los expertos en seguridad de IA celebren.
No te dejes engañar por este verano de hype sobre la IA. Las afirmaciones desmesuradas sobre la inteligencia general artificial (AGI) y nuevas capacidades se desmoronan rápidamente bajo el escrutinio.
Estados Unidos gastó miles de millones en vigilancia fronteriza. ¿Por qué no puede detectar a las personas antes de que mueran? Las torres de vigilancia, cada vez más impulsadas por IA, prometían respuestas más rápidas a los cruces. Nuestra investigación sobre muertes cerca de las torres encontró que están fallando en cumplir con esa promesa.
Mantente conectado para recibir las últimas actualizaciones de MIT Technology Review.
Descubre ofertas especiales, historias destacadas, eventos próximos y más.
Fuente original: MIT Technology Review IA.
