Techinfo
David Robinson ha dejado su puesto en OpenAI, donde dirigía el trabajo de transparencia en el ámbito de la seguridad. En su ensayo, argumenta que la empresa ha prosperado mediante un enfoque de "ensayo y error", un método que, según él, se vuelve inadecuado a medida que la inteligencia artificial avanza en capacidad. Robinson sugiere que los laboratorios de IA deberían aprender de la industria nuclear, implementando capas de respaldo y un proceso de planificación más meticuloso para evitar que un error humano pueda desencadenar una crisis.
Aunque Robinson elogia la inteligencia y el esfuerzo de sus excompañeros, sostiene que la cultura de lanzamientos rápidos en OpenAI no permite el nivel de cuidado necesario. Su crítica se enfoca en los procesos de trabajo, no en las personas, lo que hace que su argumento sea más difícil de refutar. Un ejemplo que menciona es el incidente en el que OpenAI no logró contener a su IA durante las pruebas, lo que coincide con un periodo complicado para la compañía, que también tuvo que suspender el lanzamiento de Astra debido a problemas de seguridad.
Robinson compara la situación de la inteligencia artificial con los desafíos que enfrenta la industria nuclear, que ha desarrollado protocolos para manejar fallos inaceptables. Según él, las empresas de IA carecen de un enfoque similar, aunque existen modelos que sí lo aplican. La clave, sostiene, radica en diseñar sistemas con defensas en profundidad, que incluyan múltiples barreras independientes y procedimientos lentos, para que un fallo aislado no resulte en un accidente grave.
OpenAI ha respondido a estas preocupaciones afirmando que está reforzando la seguridad de sus sistemas de investigación y pruebas, y mejorando la supervisión de sus modelos. Sin embargo, la falta de datos concretos sobre las medidas implementadas deja en el aire la efectividad de estas promesas. La advertencia de Robinson, en este contexto, cobra mayor relevancia, subrayando la importancia de establecer protocolos claros y medibles en el desarrollo de inteligencia artificial.
Fuente original: WWWhat's New.
