Techinfo
Los modelos de inteligencia artificial de gran escala para robots aprenden a partir de videos que requieren anotaciones textuales. Según el laboratorio de investigación GEAR de Nvidia, este proceso necesita tres tipos de etiquetas. Primero, descripciones de las acciones que ocurren en el video, utilizadas para seleccionar los datos de entrenamiento. En segundo lugar, calificaciones sobre cómo progresa un robot paso a paso, lo que le permite aprender mediante prueba y error. Por último, juicios sobre si una tarea se completó con éxito, que se utilizan para monitorear a los robots durante su implementación. La mayoría de las herramientas existentes solo proporcionan uno de estos tipos de etiquetas. Los modelos de lenguaje de gran tamaño, como GPT-6 Astra, pueden generar varias, pero su costo es prohibitivo para los grandes volúmenes de video que se manejan.
Según el documento presentado, Flora abarca los tres tipos de etiquetas. Nvidia afirma que el sistema ya está en funcionamiento durante el entrenamiento de sus modelos GR00T, anotando hasta 200,000 horas de video por día utilizando 512 GPUs GB300. Estos modelos están disponibles en la plataforma Hugging Face.
Flora está compuesto por tres modelos Qwen3.5 ajustados. Un modelo de 9 mil millones de parámetros segmenta los videos en acciones, mientras que un modelo de 27 mil millones describe estas acciones teniendo en cuenta lo que ocurrió antes y después de cada una. Un segundo modelo de 27 mil millones, denominado Flora-Rewarder, asume tres roles dependiendo de la solicitud. Este modelo califica el éxito de un episodio en una escala del 1 al 5, clasifica cada medio segundo como normal, subóptimo o fallido, y asigna puntajes basados en criterios auto-definidos.
Según las propias estimaciones de Nvidia, el costo de etiquetar con Flora es hasta 125 veces más barato. En una prueba con 50 videos, Flora obtuvo una puntuación ligeramente mejor que GPT-6 Astra, a pesar de que el modelo de OpenAI pudo utilizar toda su capacidad de razonamiento. Etiquetar una hora de video cuesta aproximadamente 72 centavos con Flora, en comparación con los aproximadamente 88,50 dólares que se gastarían con GPT-6 Astra. En la misma prueba, Claude Opus 5 tuvo un rendimiento mucho peor y aún así costó alrededor de 42 dólares por hora.
Sin embargo, es importante señalar que las cifras de costos de Flora son proyecciones y no mediciones de producción. Nvidia las calculó basándose en un precio de alquiler asumido de 10 dólares por GPU por hora. Aunque Flora encuentra acciones de manera más efectiva, Astra a menudo las describe con mayor precisión.
En el WGO-Bench público, Flora se destaca en la detección de límites de acción, aunque su puntuación general es inferior a la de Astra y queda atrás de Gemini 3.8 Flash en precisión de descripción pura. Según los investigadores, las mejoras se deben principalmente a la localización temporal.
En el propio DenseCaptionBench de Nvidia, Flora lidera en todas las métricas para grabaciones humanas, pero en el caso de videos de robots, el modelo ocupa el segundo lugar detrás de Astra. Los investigadores también reconocen un inconveniente metodológico: GPT-6 Astra evalúa las descripciones mientras es uno de los modelos que se están probando.
Casi ningún otro modelo capta errores a mitad de episodio. En RoboRewardBench, la tasa de error de Flora es un 27.8 por ciento más baja que la de Astra. El documento atribuye esta diferencia a tareas parcialmente completadas. Por ejemplo, cuando un robot simplemente inclina una botella en lugar de derribarla de la mesa, Flora asigna 3 de 5 puntos para coincidir con la referencia humana, mientras que Astra solo otorga uno.
Flora-Rewarder detecta el 53.3 por ciento de los pasos fallidos dentro de un episodio, mientras que ningún competidor supera el 11.7 por ciento, y Astra no identifica ninguno. La desventaja es que Flora marca erróneamente alrededor del 11 por ciento de los pasos normales como errores. Astra, por su parte, sigue liderando en la puntuación basada en rúbricas y en el ranking de trayectorias.
En un video con muchos movimientos de manos cortos, Flora identifica 34 de 37 acciones individuales, mientras que Astra solo capta cuatro. Sin embargo, Flora a veces divide acciones más largas en demasiados pasos pequeños y ocasionalmente se equivoca en las descripciones. En un video, una mano robótica limpia un plato con un paño, pero Flora lo describe como si estuviera doblando una servilleta.
Nvidia posiciona a Flora como una alternativa abierta a servicios comerciales como el Motor de Datos de IA Física de Scale AI. Los investigadores pueden utilizarla para escalar sus propios conjuntos de datos de robótica y probar enfoques como la transferencia de demostraciones humanas a robots. Nvidia está invirtiendo miles de millones en modelos de IA abiertos para mantener a los desarrolladores dentro de su ecosistema de hardware y aumentar la demanda de sus chips, y Flora cumple con ese mismo objetivo.
La compañía también ha estado trabajando durante algún tiempo para compensar la escasez de datos de entrenamiento en robótica a través de simulaciones y procesamiento automatizado de datos. En la GTC de este año, Nvidia mostró un pipeline de datos que prepara, multiplica y puntúa automáticamente el material de entrenamiento. Flora añade etiquetas detalladas y señales de recompensa a partir de videos a ese pipeline.
Todo esto forma parte de la estrategia de Nvidia para abarcar toda la cadena de valor de la robótica, desde el hardware y los datos de entrenamiento hasta la simulación y los modelos de inteligencia artificial. En este contexto, Gemini 4 Argon, recientemente anunciado por Google, apunta a un aspecto similar del proceso de entrenamiento robótico, identificando también los pasos de trabajo en videos de entrenamiento y señalando acciones fallidas.
Nvidia busca así optimizar los costos y mejorar la eficiencia en el etiquetado de videos para robots, lo que podría revolucionar la forma en que se entrena a estos dispositivos. La apertura de Flora es un paso significativo hacia una mayor accesibilidad en el desarrollo de tecnologías robóticas, permitiendo que más desarrolladores y empresas puedan beneficiarse de esta herramienta sin los altos costos asociados a soluciones previas.
Fuente original: The Decoder.
