Techinfo
Un equipo de investigadores ha creado Co-Design Bench, un nuevo test para evaluar agentes de codificación. Este estándar se basa en solicitudes de cambios reales realizadas por usuarios, donde los agentes deben modificar aplicaciones web existentes según las indicaciones, utilizando a veces imágenes, grabaciones de audio, videos o documentos como insumos. Según el estudio, el modelo GPT-6 Astra, que se posiciona como el mejor entre los diez modelos evaluados, cumple en promedio con aproximadamente el 70 por ciento de los requisitos de una tarea. Sin embargo, el resultado es completamente correcto en solo el 26.4 por ciento de los casos. En la mayoría de las situaciones, el agente se encarga de la mayor parte del trabajo, pero deja al menos un detalle sin terminar, lo que significa que quienes utilizan estas herramientas casi siempre deben realizar ajustes manuales.
Los autores justifican la creación de este nuevo test al señalar la saturación de los estándares de evaluación existentes. Cuando los modelos pueden ejecutar, verificar y corregir su propio código, alcanzan puntuaciones superiores al 99 por ciento en esas pruebas, y las diferencias entre los modelos son apenas medibles. Co-Design Bench, en cambio, se basa en solicitudes reales de sesiones de codificación. Los investigadores priorizaron casos en los que los usuarios debían reformular su solicitud varias veces o revertir cambios, de modo que el test incluye principalmente tareas que ya presentaban dificultades para los agentes de IA en la práctica. Estas tareas varían desde pequeños ajustes, como extraer un monto de un recibo y actualizar todos los totales dependientes, hasta revisiones a gran escala de proyectos.
La evaluación es rigurosa para que coincida con la realidad. Un juez de IA prueba la aplicación final en un navegador, y luego un segundo juez revisa cada veredicto positivo y busca maquetas o resultados codificados de manera rígida. Los puntos se otorgan únicamente a las funciones que realmente funcionan en la aplicación. En cuanto a los resultados, detrás de GPT-6 Astra, Claude Opus 5 y Qwen3.8-Max ocupan los siguientes lugares, mientras que Grok 4.6 se sitúa en la última posición. En revisiones más grandes, el modelo mucho más pequeño Qwen3.8-27B asciende al segundo lugar, pero los autores no extraen una ventaja general del modelo a partir de ese resultado.
La performance de todos los modelos disminuye a medida que una tarea combina más tipos de cambios, incluyendo diseño, interacción y contenido. Sin embargo, estos requisitos entrelazados son la norma en proyectos reales, lo que pone de manifiesto las limitaciones actuales de la inteligencia artificial en el ámbito de la codificación.
Un análisis adicional revela que el uso de más recursos computacionales no mejora significativamente esta debilidad. El modelo GLM-5.2 consume casi seis veces más tokens que el GPT-6 Astra para realizar cambios menores y, aun así, obtiene resultados significativamente peores.
La forma en que se estructuran los entornos de prueba influye tanto en los resultados como el modelo en sí. En un experimento separado, los investigadores evaluaron los mismos modelos en diferentes entornos, que son los programas a través de los cuales un agente lee, escribe y ejecuta código. El modelo Qwen3.8-27B obtuvo un puntaje de 75 o solo un 56 por ciento en revisiones más amplias, dependiendo del entorno. Además, el rendimiento de los modelos también variaba según el contexto en el que se evaluaban.
Las listas de clasificación que solo mencionan el modelo ofrecen una visión parcial de la situación. Los autores sugieren que siempre se informe sobre el modelo y el entorno de trabajo en conjunto. Para las empresas que eligen un agente de codificación, esto implica probar ambos componentes como un conjunto.
Sin embargo, el nuevo estándar de evaluación tiene sus limitaciones. Este evalúa una solicitud fija por tarea; las preguntas de seguimiento o correcciones a mitad de tarea por parte de los usuarios no forman parte de la prueba. Además, los jueces de inteligencia artificial también pueden cometer errores.
Un estudio realizado por la organización de investigación METR ya demostró cuán distantes pueden estar los resultados de las pruebas de referencia de la usabilidad en el mundo real. La tasa de aceptación real del código generado por inteligencia artificial por parte de los líderes de proyecto fue aproximadamente 24 puntos porcentuales inferior a los puntajes obtenidos en el ampliamente utilizado SWE-bench Verified.
Las fallas en los entornos de prueba también pueden permitir que los agentes superen tareas sin resolverlas realmente. Sin embargo, el efecto del entorno de trabajo no es del todo claro. Un estudio reciente sobre agentes de codificación encontró apenas beneficios medibles de entornos más elaborados, a pesar de que consumieron hasta tres veces más tokens.
Fuente original: The Decoder.
