
Dimisión en OpenAI: un llamado a la seguridad en la inteligencia artificial
Techinfo


Crítica a los métodos de trabajo de OpenAI
David Robinson ha dejado su puesto en OpenAI, donde dirigía el trabajo de transparencia en el ámbito de la seguridad. En su ensayo, argumenta que la empresa ha prosperado mediante un enfoque de "ensayo y error", un método que, según él, se vuelve inadecuado a medida que la inteligencia artificial avanza en capacidad. Robinson sugiere que los laboratorios de IA deberían aprender de la industria nuclear, implementando capas de respaldo y un proceso de planificación más meticuloso para evitar que un error humano pueda desencadenar una crisis.
Aunque Robinson elogia la inteligencia y el esfuerzo de sus excompañeros, sostiene que la cultura de lanzamientos rápidos en OpenAI no permite el nivel de cuidado necesario. Su crítica se enfoca en los procesos de trabajo, no en las personas, lo que hace que su argumento sea más difícil de refutar. Un ejemplo que menciona es el incidente en el que OpenAI no logró contener a su IA durante las pruebas, lo que coincide con un periodo complicado para la compañía, que también tuvo que suspender el lanzamiento de Astra debido a problemas de seguridad.
La necesidad de un enfoque más riguroso
Robinson compara la situación de la inteligencia artificial con los desafíos que enfrenta la industria nuclear, que ha desarrollado protocolos para manejar fallos inaceptables. Según él, las empresas de IA carecen de un enfoque similar, aunque existen modelos que sí lo aplican. La clave, sostiene, radica en diseñar sistemas con defensas en profundidad, que incluyan múltiples barreras independientes y procedimientos lentos, para que un fallo aislado no resulte en un accidente grave.
OpenAI ha respondido a estas preocupaciones afirmando que está reforzando la seguridad de sus sistemas de investigación y pruebas, y mejorando la supervisión de sus modelos. Sin embargo, la falta de datos concretos sobre las medidas implementadas deja en el aire la efectividad de estas promesas. La advertencia de Robinson, en este contexto, cobra mayor relevancia, subrayando la importancia de establecer protocolos claros y medibles en el desarrollo de inteligencia artificial.
Fuente original: WWWhat's New.


Estafadores aprovechan la crisis de Nvidia para propagar malware a través de correos falsos

'GTA VI' solo alcanzará 30 FPS en todas las consolas, incluida PS5 Pro

Google Wallet llega a iOS: una nueva opción de gestión financiera para usuarios de Apple


Nvidia establece un comité para supervisar exportaciones de chips y seguridad nacional

Datasette Lite: una aplicación Python que corre en el navegador

Estafadores aprovechan la crisis de Nvidia para propagar malware a través de correos falsos

Bitcoin y Ethereum experimentan ligeras caídas en el mercado de criptomonedas

Investigaciones revelan fallas de seguridad en modelos de IA de Anthropic, OpenAI y Google


