Techinfo
El modelo Fable 5.2 de Anthropic ha dado un gran salto en el Índice de Trabajo Remoto (RLI) elaborado por Scale Labs y el Centro para la Seguridad de la IA (CAIS), alcanzando un impresionante 41,3% en la finalización de trabajos freelance reales que cumplen con los estándares de calidad requeridos por los clientes. Este avance coloca a Fable 5.2 por delante de su predecesor directo y de toda la competencia en el campo de la inteligencia artificial.
Este progreso destaca la rapidez con la que los agentes de inteligencia artificial están alcanzando capacidades prácticas en el ámbito laboral. Cuando se lanzó el índice hace aproximadamente un año, el sistema líder en ese momento, Manus, solo logró completar el 2,5% de las tareas. Ahora, Fable 5.2 ha multiplicado esa cifra por más de 16, completando más de 16 veces la cantidad de trabajos profesionales que su antecesor. En comparación con las mediciones más recientes, el modelo Fable 5, que es una versión anterior de la misma familia, se encontraba en primer lugar en julio con alrededor del 16%. Este puntaje ya representaba un avance significativo, ya que los mejores agentes habían cuadruplicado la proporción de trabajos completados con calidad profesional en un período de ocho meses. Cuatro meses después, Fable 5.2 alcanza el 41,3%, lo que equivale a aproximadamente dos veces y media el puntaje de Fable 5 en julio. Su predecesor directo, Fable 5.1, se queda atrás con menos del 18%, y Fable 5.2 completa más del doble de trabajos en comparación.
En la actualidad, los siguientes lugares en la tabla de clasificación son ocupados por Opus 5.5 de Anthropic, con un 21,25%, y GPT 6 Astra de OpenAI, con un 20,83%. Fable 5.2 demuestra ser casi el doble de efectivo que los sistemas más cercanos en el mercado. El modelo más fuerte de Google en la prueba, Gemini Argon 4, se posiciona en quinto lugar con un 17,08%, mientras que modelos más antiguos como GPT-5.2 o Gemini 3 Pro se encuentran por debajo del 3%.
Según Scale Labs, Fable 5.2 ha logrado sus mayores avances en la edición de audio y música, el diseño de arquitectura y espacios interiores, y la creación de modelos 3D. Además, este agente es capaz de manejar proyectos largos y complejos que anteriormente los modelos mejor clasificados no lograban completar.
Casi 50 de las finalizaciones exitosas de Fable 5.2 correspondieron a trabajos que ningún agente de inteligencia artificial en la prueba había resuelto previamente. Según Scale Labs, la IA aún tiene dificultades para manejar otras tareas, especialmente en diseño de productos industriales y animaciones. Cuando los agentes de IA fallan en la prueba, suelen entregar trabajos de calidad amateur, resultados incompletos, archivos dañados o diseños contradictorios, según los investigadores.
A diferencia de las pruebas convencionales de IA que a menudo solo evalúan habilidades aisladas, el documento de investigación de RLI abarca asignaciones de trabajo completas. El conjunto de datos incluye 240 proyectos finalizados por 358 profesionales verificados en la plataforma Upwork. En total, estos trabajos tienen un valor aproximado de 144,000 dólares.
Un proyecto individual tiene un costo promedio de 632.60 dólares y requiere que un freelancer humano dedique un promedio de poco menos de 29 horas. Las tareas abarcan desde edición de video hasta diseño CAD, desarrollo de videojuegos y análisis de datos. Para trabajar en estos proyectos, los agentes de IA tienen acceso a un espacio de trabajo virtual que incluye software profesional común como Blender, GIMP o Audacity, junto con herramientas de IA especializadas para la generación de imágenes, audio y video.
Expertos humanos capacitados revisan manualmente si un agente de IA completó un trabajo con éxito. Abren los archivos enviados en el software profesional correspondiente y comparan la salida de la IA directamente con el trabajo que el freelancer humano entregó. Los intentos de CAIS por automatizar esta revisión laboriosa con otra IA han fracasado hasta ahora. Dado que los revisores de IA apenas pueden operar el software profesional por sí mismos, son engañados por presentaciones que parecen pulidas en la superficie pero que son técnicamente defectuosas, y califican a los modelos de manera demasiado generosa.
Fuente original: The Decoder.
