Techinfo
En un experimento reciente, los investigadores del MIT presentaron a GPT-6 Astra una lista de miles de números y le preguntaron qué juego podría estar jugando un modelo de IA entrenado con esos datos. A diferencia de otros modelos, Astra proporcionó una respuesta. Según el blog de investigación, Astra es capaz de analizar y modificar deliberadamente los ajustes internos de otros modelos de IA, conocidos como pesos. Estos valores numéricos están organizados en tablas masivas, o matrices, en términos matemáticos.
Este nuevo enfoque elimina la necesidad del proceso habitual de optimización matemática paso a paso. Dependiendo del experimento, Astra trabajó directamente con listas de números o utilizó herramientas de programación y retroalimentación de pruebas. Los investigadores han denominado a esta metodología "Programación en el Espacio de Pesos": en lugar de tener que volver a entrenar costosamente un modelo de IA, un modelo de lenguaje actúa como un mecánico que ajusta perillas individuales.
En varios experimentos, los investigadores alimentaron a Astra con los pesos en bruto de redes entrenadas y le preguntaron qué habían aprendido esas redes. Astra identificó correctamente cuál de cuatro videojuegos estaba destinado a jugar una red en particular. Además, reconoció las formas básicas que un generador de imágenes producía, aunque confundió las formas llenas con los contornos. También emparejó correctamente el lenguaje de entrenamiento de pequeños modelos de lenguaje, sin acceso a los datos de entrenamiento y sin la capacidad de ejecutar los modelos.
En otra prueba, Astra tuvo que determinar cuál de dos modelos de lenguaje ajustados estaba entrenado para siempre estar de acuerdo con los usuarios. Al principio, no pudo distinguir la diferencia solo a partir de los pesos. Sin embargo, cuando se le permitió observar a qué prestaban atención los modelos durante el procesamiento de texto, identificó correctamente el modelo adulador en todos los pares de modelos analizados.
Los modelos creados desde cero superan a los competidores entrenados, lo que sugiere que esta nueva metodología podría tener implicaciones significativas para el desarrollo futuro de la inteligencia artificial.
Astra fue aún más allá: generó pesos para modelos destinados a jugar tres juegos de computadora simples, completamente sin entrenamiento, basándose únicamente en las reglas del juego y el código fuente. Según los investigadores, estos modelos superaron a los entrenados con un método estándar en más de 100 millones de rondas. En Breakout, el modelo de Astra obtuvo un promedio de 517 puntos, en contraste con los 25 puntos del modelo base entrenado. Sin embargo, en otros dos juegos, Astra no logró igualar a las versiones que habían sido entrenadas durante más tiempo.
Para el juego de mesa Go en una cuadrícula de 9x9, Astra escribió los pesos de una red con aproximadamente 1.5 millones de parámetros. Con un presupuesto de 50 iteraciones de prueba, donde la red jugó hasta 128 juegos de práctica en cada ronda y Astra luego corrigió sus pesos, logró vencer a un modelo de tamaño comparable que había sido entrenado en aproximadamente 20 millones de juegos.
El experimento más práctico involucró al modelo de lenguaje Qwen3.5-0.8B. La tarea de Astra consistió en mejorar sus habilidades matemáticas, utilizando un entorno de codificación y 50 iteraciones de prueba con problemas de práctica. La evaluación se realizó sobre problemas separados que Astra nunca había visto antes. Astra identificó un problema que la propia documentación del modelo Qwen ya advertía: bucles de pensamiento donde el modelo repite interminablemente el mismo texto en lugar de llegar a una respuesta. Astra modificó solo el 0.016 por ciento de todos los pesos. El resultado fue que la precisión en el benchmark MATH-500 saltó del 7.9 al 48.1 por ciento. La capacidad de seguir instrucciones mejoró del 21 al 62 por ciento. Sin embargo, los bucles de pensamiento no se eliminaron por completo, ya que un tercio de las respuestas aún alcanzaba la longitud máxima de texto, una mejora respecto al 93 por ciento anterior.
Con un modelo más pequeño (Gemma 3 270M) que rara vez caía en tales bucles, Astra no pudo producir ninguna mejora medible. Los investigadores sospechan que Astra fue capaz de eliminar un bloqueo en el modelo Qwen que estaba suprimiendo capacidades existentes, pero las habilidades que un modelo carece fundamentalmente no pudieron ser añadidas simplemente reescribiendo pesos individuales en este experimento.
El pionero de la inteligencia artificial Jürgen Schmidhuber comentó en X que el enfoque era "algo viejo", señalando su propio trabajo de la década de 1990. Khattab respondió que ellos vinculan esos documentos, que estaban "muy adelantados a su tiempo". El nuevo aspecto, dijo, es cuán bien los modelos de lenguaje actuales pueden traducir entre el lenguaje humano y los valores numéricos de una red.
Los investigadores ven un gran potencial en su enfoque para realizar auditorías de seguridad directamente sobre los pesos de los modelos de inteligencia artificial, así como para implementar cambios de comportamiento específicos sin necesidad de un costoso reentrenamiento. Esta metodología podría revolucionar la forma en que se gestionan y auditan los modelos, permitiendo ajustes más rápidos y eficientes. Sin embargo, también reconocen que las capacidades actuales son aún limitadas y que se requiere más investigación para expandir estas aplicaciones. Un próximo paso en su investigación es establecer un estándar para la medición sistemática de estos procesos, lo cual es fundamental para validar su enfoque.
Los registros de los experimentos realizados están disponibles en GitHub, lo que permite a otros investigadores revisar y reproducir los resultados. Además, el modelo editado de Qwen se puede encontrar en la plataforma Hugging Face, donde se comparten diversos modelos de inteligencia artificial. Estos recursos son parte del esfuerzo por fomentar la colaboración y el avance en el campo de la inteligencia artificial, permitiendo que otros puedan aprender de estos hallazgos y contribuir al desarrollo de nuevas tecnologías.
Fuente original: The Decoder.
