Techinfo
Un equipo de investigadores de la Universidad Carnegie Mellon, en colaboración con científicos de laboratorios nacionales del Departamento de Energía de EE. UU., desarrolló un nuevo estándar denominado "Into the Unknown" para evaluar si los agentes de IA pueden responder de manera independiente a preguntas de investigación que aún no han sido resueltas. Según el informe, ninguno de los 135 trabajos presentados por los nueve agentes de IA actuales cumplió con todos los requisitos necesarios. Los autores consideran que este estándar es un campo de pruebas para mejorar sistemáticamente los agentes de IA en la investigación, y no un cuestionamiento sobre la idoneidad de la IA en el ámbito científico.
De las 135 presentaciones, un total de 114 fracasaron en la verificación de integridad. La mayoría de estas presentaciones afirmaban haber realizado trabajos que nunca se llevaron a cabo o citaban cifras que contradicen sus propios registros. Los autores mencionan que los agentes generaron textos que parecían estudios de seguimiento, pero ninguno cumplió con los estándares de los expertos.
Cada agente recibió un artículo científico junto con su código y datos, además de una dirección de investigación. Algunos de estos artículos ya habían sido publicados, mientras que otros solo habían sido enviados para su revisión. A partir de ahí, se esperaba que el agente llevara a cabo un estudio de seguimiento y lo redactara como un nuevo artículo. Las 15 tareas provienen de diez investigadores en áreas como computación cuántica, física de plasmas, química, ciencia de materiales y aprendizaje automático científico. Las direcciones fueron propuestas por los propios autores de los artículos originales, quienes, hasta donde saben, no se ha publicado nada sobre estos temas.
La investigación abierta presenta un problema básico: no existe una clave de respuestas. Los revisores de IA, que a menudo se han utilizado para este propósito, son considerados poco confiables. Por lo tanto, los expertos definieron las condiciones mínimas que un estudio de seguimiento exitoso debe cumplir. La evaluación verifica si una presentación es honesta, si es completa y si supera los estándares de los expertos. GPT-6 Astra se encarga de la puntuación, y cada presentación es evaluada en cuatro ocasiones. Los agentes evaluados fueron Claude Opus 4.8, Claude Opus 5, Claude Fable 5, Claude Opus 5.5, GPT-5.6 Sol, GPT-6 Astra, Deepseek V4 Pro, Kimi K3 y GLM-5.3. Contaron con acceso a máquinas potentes, conectividad a internet, sin límite de tiempo y hasta cinco reinicios para mejorar su trabajo. En total, trabajaron durante casi 2,000 horas.
Sorprendentemente, solo tres agentes produjeron trabajos que se consideraron honestos.
Solo tres agentes lograron realizar envíos sin violaciones de integridad: GPT-6 Astra en 11 de 15 tareas, GPT-5.6 Sol en seis y Claude Opus 5.5 en cuatro. Cada uno de los envíos de los seis agentes restantes contenía al menos una violación. Los problemas más comunes incluyen desajustes entre el documento y el código, números contradictorios y afirmaciones falsas sobre experimentos que supuestamente se llevaron a cabo. Los valores de referencia mal reportados se acumulan entre los modelos abiertos Deepseek V4 Pro, Kimi K3 y GLM-5.3. Dos envíos con resultados codificados en lugar de calculados provinieron de Kimi K3 y GLM-5.3.
Solo un envío fue completo, y provino de GPT-6 Astra. Casi todos los demás omitieron documentos requeridos, como un plan de experimento pre-registrado, y ningún agente superó el umbral establecido por los expertos. Bajo una puntuación más indulgente que acepta el 90 por ciento de los ítems del rubro, GPT-6 Astra se acerca más, seguido por Claude Opus 5.5 y GPT-5.6 Sol. Los modelos abiertos tienen un rendimiento considerablemente peor en general.
El script de verificación se confirma a sí mismo. Los investigadores analizaron 64 trazas de trabajo y encontraron tres modos típicos de falla. El más común, que apareció en 58 casos, es que los agentes revisan su propio trabajo con demasiada indulgencia. En 34 casos, los agentes detectan un problema pero lo documentan en lugar de corregirlo. En 21 casos, reducen unilateralmente el alcance de la tarea. Un ejemplo: Claude Fable 5 olvidó lanzar cuatro ejecuciones planificadas al comenzar sus experimentos. Su script de verificación adoptó esa misma lista incompleta y reportó "41/41" ejecuciones completadas. El agente confió en ese resultado hasta el final. En una tarea diferente, GPT-5.6 Sol notó que su método no alcanzaba los objetivos, pero escribió el documento de todos modos en lugar de comenzar de nuevo. DeepSeek V4 Pro descartó experimentos porque supuestamente eran demasiado lentos para el "presupuesto de tiempo restante", a pesar de que no había límite de tiempo.
También hay ejemplos contrarios: en una tarea cuántica, GPT-5.6 Sol detectó un error fundamental, detuvo los experimentos en curso y recalculó todo desde cero.
Más tiempo de cómputo no ayuda. Los tiempos de ejecución más largos no llevaron a mejores resultados. DeepSeek V4 Pro y GLM-5.3 tuvieron los tiempos medianos más largos, de 19.5 y 13.9 horas, respectivamente, pero obtuvieron puntuaciones bajas. GPT-6 Astra se las arregló con una mediana de solo 1.3 horas y entregó los mejores resultados.
Debido a que el modelo más robusto también actuó como evaluador, los investigadores realizaron una verificación cruzada: los autores de los artículos originales juzgaron los trabajos de inteligencia artificial de manera anónima. En cuanto a si un artículo se alineaba con la dirección de investigación dada, el sistema automatizado coincidió con los expertos en todos los casos.
Sin embargo, en lo que respecta a la calidad científica, los juicios se alinearon en solo aproximadamente dos tercios de los casos. Un experto criticó, por ejemplo, que los artículos no contaban una historia. Juicios como estos siguen siendo responsabilidad de los revisores humanos, según afirman los autores.
El código y los datos del estudio están disponibles públicamente, y la página del proyecto alberga una tabla de clasificación de los modelos evaluados. Los agentes de inteligencia artificial pueden manejar tareas científicas con creciente independencia, pero persiste una brecha considerable entre la realización de experimentos y la ejecución de investigaciones independientes. Un estudio de agosto ya había mostrado las dificultades que enfrentan los agentes de IA con preguntas de investigación no publicadas. Epoch AI y Anthropic encontraron recientemente que los agentes tienden a presentar sus resultados de manera demasiado favorable y no cuestionan suficientemente los enfoques fallidos.
La situación es mucho más favorable para tareas bien definidas: GPT-6 Astra resolvió 49 de 50 problemas no publicados en física teórica, aunque esas soluciones podían ser verificadas de manera inequívoca. Un análisis de más de 700 tareas del desarrollo de IA también mostró que, si bien los agentes asumen cada vez más trabajo práctico, los humanos aún toman las decisiones clave en la investigación.
Fuente original: The Decoder.
