Techinfo
Los robots están aprendiendo a realizar tareas como doblar ropa, clasificar piezas y manejar objetos desconocidos. Sin embargo, estas demostraciones suelen ser limitadas y no explican qué ha aprendido un robot o por qué falla en ciertas situaciones. Para investigar sistemas complejos, los científicos a menudo comienzan con un entorno pequeño y controlado, como un plato de Petri o un terrario, donde pueden variar las condiciones y observar los efectos. En el campo de la robótica, se requieren entornos que permitan este tipo de investigación, donde los investigadores puedan modificar los datos de entrenamiento o el diseño del modelo, repetir pruebas y rastrear las causas de los fallos.
Hoy se presenta un marco para crear estos entornos, denominado FoundationWorlds. Cada uno combina un mundo simulado controlado, diseñado para estudiar la robótica en un entorno específico, con herramientas para generar automáticamente tareas y demostraciones de entrenamiento, así como métricas para medir el comportamiento de un robot a lo largo del tiempo. Juntos, proporcionan un espacio para investigar cuestiones como cómo mejoran los modelos a medida que se dispone de más datos de entrenamiento, y cómo combinar mejor el razonamiento de alto nivel con un control físico preciso.
Nuestro primer FoundationWorld es ToyBlocks: un marco de simulación abierto construido alrededor de un brazo robótico y bloques sobre una mesa. El entorno es deliberadamente simple, pero el robot debe razonar sobre cómo interactúan los bloques y cómo organizarlos mientras empuja, voltea y apila. ToyBlocks genera automáticamente demostraciones, que son grabaciones de un robot completando tareas en simulación, sin requerir la tediosa teleoperación, en la que una persona controla el robot de forma remota. Los investigadores pueden variar fácilmente estas experiencias de entrenamiento. Por ejemplo, un equipo podría generar más demostraciones de empuje o volteo, y luego evaluar el rendimiento en tareas que no formaron parte del entrenamiento.
Comenzando con ToyBlocks como nuestro primer FoundationWorld, buscamos extender este enfoque a entornos cada vez más complejos. Basándonos en nuestro trabajo previo en aprendizaje robótico abierto, que incluye MolmoAct 2, MolmoBot y MolmoSpaces, ToyBlocks ofrece a los investigadores una manera de estudiar preguntas sobre robótica en un dominio deliberadamente restringido.
ToyBlocks, como un entorno de aprendizaje, está diseñado en torno a cuatro requisitos fundamentales: (1) física y apariencia realistas, (2) generación automática de tareas y demostraciones a gran escala, (3) desafíos que combinan razonamiento con destreza, y (4) una amplia cobertura de las tareas posibles dentro de un dominio. Los dominios abiertos requieren modelar una amplia gama de objetos e interacciones, lo que hace inviable cumplir con todos estos requisitos. Por el contrario, el enfoque más limitado de ToyBlocks permite satisfacerlos todos.
En el entorno más reducido de ToyBlocks, los investigadores pueden explorar cómo un robot puede aprender a realizar cualquier tarea razonable, con la confianza de que el brazo simulado y los bloques se comportan de manera muy similar a sus contrapartes físicas. ToyBlocks no se limita a recoger y apilar bloques: las imágenes y letras en las caras de los bloques permiten realizar tareas de búsqueda, clasificación y organización. Un robot puede necesitar girar un bloque para ver una cara oculta antes de decidir dónde debe colocarlo. La aleatorización del dominio, que implica variar el tamaño de los bloques, la altura de la mesa y otras propiedades físicas de escena a escena, pone a prueba la capacidad de los modelos para generalizar a medida que cambia la geometría.
ToyBlocks genera automáticamente habilidades (comportamientos para tareas cortas) y demostraciones de tareas que pueden utilizarse para entrenar modelos o adaptar modelos previamente entrenados mediante un entrenamiento adicional (ajuste fino). Los modelos de razonamiento de alto nivel deciden qué hacer; los modelos de acción de bajo nivel controlan los movimientos del robot. Además, el marco puede utilizarse para diseñar experimentos de manera sencilla y validar hipótesis.
ToyBlocks utiliza el aprendizaje por refuerzo (RL) y la planificación de movimientos, que determina cómo debe moverse el robot, para generar habilidades para tareas de corto plazo, que implican breves secuencias de acciones. La capacitación de habilidades se lleva a cabo en Isaac Lab, el marco de código abierto de Nvidia para el aprendizaje de robots en simulación. A través de prueba y error, estas políticas —modelos que eligen las acciones del robot— aprenden habilidades no prehensiles, como empujar un bloque a través de la mesa o voltearlo sobre otra cara sin levantarlo. La generación de habilidades puede apoyarse en información privilegiada, es decir, valores que el simulador puede proporcionar directamente, pero que un robot real no puede, como la posición y orientación exactas de un bloque, en lugar de estimarlo a partir de imágenes de cámara. Esto permite la generación automática de habilidades que requerirían teleoperación en el mundo real.
Para generar datos de demostración, un planificador de tareas y movimientos (TAMP) selecciona y secuencia automáticamente las habilidades necesarias para resolver una tarea y planifica los movimientos del robot entre ellas. Ejecutar cada plan en simulación produce un conjunto de datos de demostraciones grabadas junto con etiquetas que describen qué tarea o habilidad está realizando el robot. ToyBlocks escala la generación de datos al generar y ejecutar cientos de estos planes en paralelo en una única unidad de procesamiento gráfico (GPU), alcanzando hasta 24 veces el rendimiento en tiempo real.
Actuar a partir de observaciones de sensores añade un problema de percepción: un modelo debe estimar la posición y orientación de un bloque, información que el simulador podría proporcionar directamente. Para reflejar las condiciones del mundo real, ToyBlocks entrena modelos que mapean observaciones de sensores en bruto a acciones.
La ejecución de Molmo 2 (un modelo de alto nivel) y ManiFlow (un modelo de bajo nivel) entrenados en ToyBlocks se lleva a cabo de la siguiente manera: Molmo 2 selecciona habilidades como rotación y volteo, indicando el bloque relevante a través de una interfaz de apuntado, mientras que ManiFlow controla el brazo simulado para ejecutar las habilidades ordenadas.
El generador de datos controlables de ToyBlocks permite a los usuarios crear mezclas de entrenamiento que enfatizan habilidades particulares o llenan vacíos en conjuntos de datos existentes. Los investigadores pueden estudiar cuántos datos necesita un modelo y qué experiencias le ayudan a generalizar a tareas no vistas. Por ejemplo, podrían probar si agregar demostraciones de rotación y recogida mejora el desempeño en tareas de volteo, o variar el equilibrio de ejemplos dentro y fuera de una región de trabajo definida, evaluando sus elecciones en tareas que no formaron parte del entrenamiento. Es importante destacar que la evaluación de los modelos entrenados genera métricas más allá de las tasas de éxito; proporciona información como las velocidades de ejecución, las fuerzas ejercidas sobre los objetos y el progreso de la tarea medido a través de las mismas especificaciones utilizadas por el módulo de planificación.
Una interfaz web permite a los usuarios conectar a Claude, o a otro modelo de vanguardia, y utilizar lenguaje natural para instruir al robot o probar tareas, ofreciendo una forma de explorar cómo un modelo planifica y actúa sin necesidad de contar con experiencia en robótica.
Las investigaciones que se basan en ToyBlocks utilizan esta herramienta para estudiar cómo los datos de entrenamiento y los métodos afectan el rendimiento, el razonamiento espacial, la generalización a nuevas letras y apariencias de bloques, la planificación de múltiples pasos, la transferencia a robots físicos y modelos de vanguardia que actúan a través de herramientas. Los usuarios pueden diseñar fácilmente sus propias tareas y medidas para investigar otras preguntas; por ejemplo, si un modelo rinde mejor al seleccionar objetos señalando o emitiendo comandos de texto como "toma el bloque amarillo".
Los modelos de acción de bajo nivel, como los modelos de acción lenguaje-visión (VLA), mapean instrucciones en lenguaje y observaciones visuales a acciones robóticas. La premisa de los VLA es que, al preentrenarse en conjuntos de datos a gran escala, pueden generalizar rápidamente a diferentes escenarios o a un espacio de trabajo específico. Sin embargo, la evidencia sobre cuán bien estos modelos de acción generalizan sigue siendo contradictoria. Algunos estudios informan que estos modelos de acción son frágiles ante cambios en los insumos, como diferentes disposiciones de objetos y condiciones de iluminación, mientras que otros muestran que los VLA generalizan bien. Argumentamos que estos estudios a menudo dependen de conjuntos de datos del mundo real con flexibilidad limitada en las variaciones espaciales. ToyBlocks nos permite probar cuán bien generalizan los modelos de acción en un entorno simple y fácilmente reproducible con diversidad significativa en el espacio de tareas.
Diseñamos pruebas de generalización que varían las secuencias de habilidades necesarias para completar una instrucción, las letras o colores en los bloques, y el número de bloques en una escena. Un estudio de apilamiento puede retener pilas de cuatro bloques durante el entrenamiento y luego evaluar si un modelo puede combinar movimientos familiares para construirlas. Los estudios de espacio de trabajo distinguen el rendimiento en nuevas posiciones dentro de una región de entrenamiento del rendimiento más allá de sus límites, donde el modelo debe extrapolar. A continuación, ilustramos la configuración del estudio y los hallazgos.
Consideramos cuatro tareas: Apilar, Desapilar, Voltear y Rotar. Para estas tareas, estudiamos la interpolación (nuevas configuraciones dentro del rango de entrenamiento) y la extrapolación (configuraciones más allá de ese rango). Por ejemplo, evaluamos la generalización entrenando en escenarios donde los objetos aparecen solo en la región izquierda (verde) y probando en la región derecha (naranja), o entrenando con alturas de apilamiento de 2 y 5 bloques y probando con alturas de 3 y 4.
Estudios de generalización espacial para modelos VLA (resultados basados en ManiFlow, π0.5 y MolmoAct 2). A pesar del preentrenamiento a gran escala, estos modelos de acción populares generalizan mal en los resultados iniciales. Mejoramos la generalización y analizamos la contribución de cada técnica. La etiqueta LoRA en el gráfico se refiere a la adaptación de bajo rango, un método para ajustar un modelo con un pequeño conjunto de actualizaciones de pesos entrenables. Creemos que la generalización de modelos de acción aún está lejos de resolverse; ToyBlocks proporciona un banco de pruebas valioso para explorar sistemáticamente las técnicas de generalización.
Razonamiento de alto nivel: modelos de visión-lenguaje. Las tareas de largo horizonte, que requieren muchos pasos, nos permiten medir qué tan bien los modelos pueden planificar una secuencia de acciones para resolverlas. Nuestro marco nos permite crear tales tareas de largo horizonte y crear oráculos, componentes de referencia que proporcionan planes o acciones correctas, tanto a niveles altos como bajos. Esto nos permite aislar si falló la planificación de alto nivel o la ejecución de bajo nivel cuando un modelo no logra completar una tarea. Un ejemplo de tarea de largo horizonte podría ser deletrear "Ai2" con una pila de bloques; dado que las letras pueden no ser visibles de inmediato, el agente debe primero elegir acciones que revelen información y luego planificar y ejecutar una secuencia de acciones para construir la pila.
Evaluamos modelos jerárquicos que cuentan con planificación de alto nivel y modelos de ejecución de bajo nivel. En este caso, seleccionamos a Molmo 2, un modelo de visión y lenguaje (VLM), como el planificador de alto nivel, y a ManiFlow como la política de bajo nivel. Molmo 2 elige la habilidad a ejecutar y el bloque sobre el cual se llevará a cabo dicha acción, mientras que el modelo de bajo nivel se encarga de ejecutar la instrucción. Entrenamos modelos de bajo nivel como ManiFlow para que se detengan tras completar la ejecución y consulten al modelo de alto nivel sobre la siguiente instrucción. Evaluamos las capacidades de planificación del modelo en tres escenarios de dificultad creciente. El escenario más fácil comienza con cada personaje erguido y mirando hacia la cámara. El escenario intermedio presenta personajes que pueden no estar en posición vertical, y el escenario más difícil incluye personajes que no son visibles al inicio del episodio.
Las tasas de éxito en tareas de ortografía de bloques de tres letras utilizando a Molmo 2 como modelo de razonamiento de alto nivel y a ManiFlow o un planificador de movimientos para la manipulación de bajo nivel son significativas. Un ejemplo de tarea es "Apilar Ai2". Tanto Molmo 2 como ManiFlow son entrenados en ToyBlocks y evaluados en tres niveles de dificultad y dos condiciones de generalización.
Razonamiento de alto nivel: sistemas agentes. Nuestros experimentos con sistemas agentes ponen a prueba cómo los modelos de vanguardia planifican y actúan a través de llamadas a herramientas. Estudiamos tres configuraciones utilizando Claude Opus 5.5. En la configuración de búsqueda y ortografía, exponemos las habilidades de ToyBlocks a través del Protocolo de Contexto de Modelo (MCP), un estándar para conectar aplicaciones de inteligencia artificial a herramientas. El agente observa la escena a través de imágenes de la cámara, llama a habilidades como recoger, voltear o rotar al señalar un píxel, y decide cuándo buscar, construir o declarar la tarea como completa o imposible. Las mismas herramientas MCP pueden ejecutar tanto las habilidades programadas que generan demostraciones de ToyBlocks (recogida y colocación planificadas por movimiento, además de rotaciones y volteos basados en aprendizaje por refuerzo) como las habilidades aprendidas de ManiFlow. ToyBlocks incluye el marco detrás de estos experimentos, que también potencia la interfaz web de lenguaje natural descrita anteriormente.
Un modelo de frontera (Claude Fable 5.1) controla un robot en un mundo de ToyBlocks para buscar y apilar bloques en una torre que forma la palabra “Ai2”. Durante el episodio, el agente reflexiona: “Necesito averiguar si el levantamiento y colocación endereza naturalmente la orientación o si necesito corregirla manualmente… Me quedan 63 llamadas, suficiente para realizar una prueba controlada” (0:06). Más adelante, el agente plantea la hipótesis: “…quizás el giro del agarre es radial—apuntando desde la base del robot hacia el bloque” (0:15) y finalmente confirma esta hipótesis (0:26) antes de construir la torre de tres bloques, aunque la ‘A’ queda de lado (1:11). Sorprendentemente, los modelos de frontera actuales a menudo cometen errores perceptuales similares (ver la figura siguiente), a pesar de sus impresionantes capacidades de planificación, razonamiento espacial y búsqueda.
En el ámbito de la planificación clásica, el agente (nuestro sistema que utiliza Claude Opus 5.5 para planificar y elegir acciones) resuelve todas las 30 tareas de apilamiento de bloques, similares a las que los modelos de frontera tenían dificultades para abordar hace unos años, utilizando descripciones textuales. Además, resuelve 30 de 30 mientras observa repetidamente imágenes de la cámara y elige su siguiente acción en un bucle cerrado.
En el contexto de búsqueda y escritura, el agente debía generar apilamientos que formaran palabras de tres letras. Tenía que encontrar los bloques con las letras correspondientes entre un máximo de ocho bloques en la escena. Es importante destacar que el 50% de las escenas no contaban con bloques que tuvieran todas las letras requeridas, lo que hacía que la tarea fuera inviable. En este caso, se requería que el agente declarara que la tarea era inviable. En este experimento, descubrimos que el agente pudo resolver con éxito o declarar correctamente como inviable el 63% de las tareas. Los errores se debieron principalmente a que el agente confundió letras con letras similares (13%) o eligió una orientación incorrecta para una letra en una pila (15%).
Nuestros resultados también muestran que el agente pudo resolver la tarea de manera más eficiente cuando los bloques presentaban regularidades semánticas o patrones, aprovechando dichos patrones para razonar sobre caras ocultas. Por ejemplo, en la mayoría de las escenas inviables, cuando los bloques no tenían patrones, el agente miraba correctamente todas las caras de los bloques antes de declarar la inviabilidad, mientras que pudo declarar la inviabilidad de manera significativamente más rápida cuando los bloques tenían patrones semánticos.
En nuestro tercer entorno experimental, nos preguntamos si un agente puede aprender cómo se comportan sus habilidades, utilizando experimentos de la manera en que lo haría un científico. Cuando una habilidad se comporta de manera inesperada, el agente formula una hipótesis, diseña una pequeña prueba y revisa su comprensión a partir del resultado. Ampliamos esta idea permitiendo que un agente realice sus propios experimentos y redacte sus propias descripciones de habilidades basándose en lo que descubre. Estas descripciones aprendidas aumentan las tasas de éxito del 24% con las descripciones predeterminadas al 63%, superando el 36% alcanzado con descripciones escritas por un experto humano.
Al final de cada episodio de "buscar y deletrear", se muestra la proporción de caras de bloques de letras a las que el agente estuvo expuesto (barras promediadas sobre 20 episodios; un marcador por episodio, estilizado según el resultado). En una tarea factible, cada letra de la palabra objetivo de tres letras está presente; en una tarea no factible, falta una letra y el agente debe declararlo. Cada bloque con patrón contiene instancias en mayúsculas y minúsculas de una letra, además de imágenes que comienzan con esa letra (por ejemplo, bloque A: manzana, hormiga, A, 1, avión, a); un bloque sin patrón tiene seis caras aleatorias y no relacionadas. Correcto: la torre deletreó la palabra, o en tareas no factibles, el agente declaró correctamente que la tarea era imposible. Letra rotada o similar: el agente construyó la torre, pero una letra estaba girada o se sustituyó por una similar, incluyendo cinco tareas no factibles declaradas resueltas con una letra similar en lugar de la letra faltante. Bloque fuera de alcance; reportado: un bloque necesario fue empujado fuera del alcance del brazo, por lo que el agente informó que su tarea se había vuelto imposible. Sin reporte: el agente agotó su presupuesto de habilidades motoras y se detuvo sin reclamar ningún resultado. Con bloques con patrón, el agente termina habiendo visto menos caras, ya que puede inferir lo que deben representar las caras ocultas en lugar de verificar cada una.
Modelos de mundo condicionados por acciones como simuladores.
Los modelos de mundos condicionados por acciones se entrenan para predecir cómo cambia una escena en respuesta a las acciones de un robot. Utilizarlos como una alternativa a los simuladores basados en modelos para el entrenamiento y la evaluación de políticas robóticas es un área de investigación activa. La efectividad de estos modelos para este propósito depende de cuán precisamente predicen las interacciones físicas, lo cual es difícil de medir sin conocer el verdadero estado de la escena. ToyBlocks proporciona esta verdad fundamental: el estado real de la escena simulada, lo que permite realizar pruebas altamente controladas sobre el rendimiento de los modelos de mundo recientemente desarrollados en la manipulación de objetos a bajo nivel. En este contexto, el efector final del brazo es su garra.
En particular, se evaluó si los modelos de mundos condicionados por acciones son capaces de predecir los movimientos de los bloques o los resultados de la ejecución de habilidades después de haber sido entrenados con ejemplos de ejecuciones. Para ello, se seleccionaron cuatro habilidades diferentes (recoger y colocar, voltear, rotar y una tarea mixta) y se generaron 900 trayectorias, que son secuencias de estados y acciones del robot a lo largo del tiempo, para cada habilidad. El 50% de estas trayectorias fueron demostraciones exitosas de la habilidad, mientras que el 50% restante fueron fallidas debido a pequeños cambios en las configuraciones espaciales. Con un número igual de ejecuciones exitosas y fallidas, un modelo que siempre predice éxito solo sería correcto la mitad del tiempo. Los modelos fueron ajustados con estas demostraciones y luego se probaron en su capacidad para predecir el resultado de secuencias de acciones de las mismas habilidades.
Se encontró que Wan 2.2 predice el movimiento de los bloques y los resultados de las tareas con mayor precisión. Astra sigue bien la garra, pero tiene dificultades para simular el contacto. LeWM es rápido y más preciso en segmentos cortos de interacción, aunque tiende a desviarse en trayectorias completas. En experimentos adicionales, también se demostró que los modelos que obtienen mejores puntajes en la predicción de poses y éxitos también producen mejores datos de entrenamiento: agregar 100 trayectorias generadas por el modelo (rollouts) del mejor modelo de generación de video aumenta el éxito de una política en una región no vista del 19% al 78%.
Se probaron tres tipos de modelos: un modelo de predicción de video con 5 mil millones de parámetros (Wan 2.2), un modelo agente que creó su propio simulador físico ajustado para coincidir con los datos de demostración (Astra) y un modelo de mundo latente (LeWM). Durante las pruebas, cada modelo entrenado debe predecir imágenes futuras, estados del simulador o estados latentes (representaciones internas aprendidas), respectivamente, a partir de una imagen inicial y una secuencia de acciones. Para trayectorias completas, los modelos utilizan la imagen inicial como la única imagen observada, junto con la secuencia de acciones. En segmentos de interacción corta –como un solo levantar, colocar, voltear o rotar– los modelos comienzan desde la imagen real inmediatamente antes de esa interacción. Las trayectorias completas muestran cómo se acumulan los errores a lo largo de horizontes prolongados, mientras que los segmentos de interacción aíslan una única acción, como el contacto del agarre con un bloque, y muestran qué tan bien el modelo la predice. Para comparar los modelos de manera justa, se examinan las predicciones de cada modelo, observando dónde espera que estén los bloques y el agarre en diferentes puntos de la trayectoria y si prevé que la tarea tenga éxito al final.
Las evaluaciones sim-to-real ponen a prueba políticas entrenadas en simulación en robots físicos que realizan tareas de manipulación de bloques. Al comparar la ejecución en simulación y en el mundo real, se evalúa si los comportamientos y patrones de falla observados en la simulación proporcionan indicaciones significativas sobre el rendimiento en el mundo real. Por ejemplo, los investigadores pueden evaluar habilidades individuales y su composición en tareas de mayor duración para identificar dónde surgen las fallas y si estos patrones se trasladan a implementaciones físicas.
Se evalúa si los modelos entrenados exclusivamente con conjuntos de datos de simulación de ToyBlocks pueden ser implementados en el mundo real sin necesidad de entrenamiento adicional con ejemplos del entorno real. Para ello, se examinan ManiFlow y cada una de las habilidades básicas (recoger, colocar, voltear y rotar) de manera individual. Además, se pone a prueba si el sistema jerárquico (Molmo 2 + ManiFlow) puede completar tareas de ortografía de tres bloques a largo plazo, las cuales requieren secuencias de estas acciones. Los experimentos en el mundo real se llevan a cabo utilizando un brazo Franka FR3 equipado con un gripper Robotiq, en treinta configuraciones de escena diferentes. Cada escena incluye entre 4 y 10 bloques que fueron vistos durante el entrenamiento. Un episodio se considera exitoso únicamente si los bloques relevantes son trasladados a las posiciones objetivo sin colisiones. Si el operador interviene para detener al robot debido a un movimiento inseguro durante un episodio, este se marca como un fracaso.
Las tasas de éxito de las habilidades atómicas de ManiFlow fueron similares tanto en simulación como en el mundo real, alcanzando un 80.0% y un 81.1%, respectivamente. El sistema jerárquico Molmo 2 + ManiFlow logró un 55.5% de éxito en episodios simulados (111 de 200) y un 50.0% en episodios del mundo real (15 de 30); se requieren más pruebas para establecer una confianza estadística en las diferentes tareas. Las tasas de éxito del modelo de bajo nivel de ManiFlow y del sistema jerárquico Molmo 2–ManiFlow en simulación y en el mundo real se presentan de manera diferenciada. Para ManiFlow, el conteo total representa las ejecuciones individuales de habilidades (recoger, colocar, voltear y rotar), mientras que para Molmo 2–ManiFlow, representa episodios de tareas de ortografía con bloques. Las evaluaciones de Molmo 2–ManiFlow utilizan la configuración de escena más sencilla definida en la evaluación de simulación, donde los caracteres de los bloques son visibles y están en posición vertical.
Se presentan ejecuciones de apilamiento de bloques en el mundo real y en simulación, utilizando el mismo planificador de alto nivel. Los anillos rosas marcan el punto objetivo del planificador para cada habilidad. Las escenas utilizan diferentes etiquetas de bloques, y la reproducción de la simulación se ajusta para alinear los agarres y liberaciones con el robot real. Para transferir Molmo 2 y ManiFlow, ambos entrenados exclusivamente con datos de ToyBlocks, a un robot físico, se abordan las diferencias entre la simulación y la realidad en tres etapas.
Antes de la generación de datos, realizamos una identificación del sistema ajustando los parámetros del robot simulado, incluyendo la fricción de las articulaciones y la inercia del motor y la caja de engranajes reflejada en la articulación, para que coincidan con las trayectorias del robot real. Durante la generación de datos, aleatorizamos propiedades físicas (tamaño de los objetos, fricción y altura de la mesa) y propiedades visuales (iluminación, fondos, materiales y parámetros de la cámara). En el momento de la inferencia, las observaciones se capturan utilizando una cámara ZED frontal y una ZED Mini montada en la muñeca. Para las políticas que utilizan imágenes de profundidad, generamos mapas de profundidad limpios, que estiman la distancia en cada píxel, a partir de imágenes de cámara en color (RGB) emparejadas, utilizando FastFoundationStereo, en lugar de depender de las ruidosas mediciones de sensores de profundidad.
ToyBlocks conecta la generación de datos, el entrenamiento y la evaluación en un entorno controlado, lo que permite a los investigadores investigar cómo aprenden los robots a lo largo del tiempo y probar cómo los cambios en un modelo o en sus datos de entrenamiento afectan el comportamiento del robot. Estamos lanzando activos de simulación, generadores de tareas y demostraciones procedimentales, demostraciones generadas automáticamente, dos modelos entrenados que muestran lo que el marco puede hacer (uno basado en Molmo 2 y otro en ManiFlow), código de entrenamiento y código de evaluación junto con conjuntos de validación. Esto permite a otros equipos construir sus propias mezclas de entrenamiento e investigar modos de falla más allá de los cubiertos en nuestros experimentos iniciales.
Nuestra primera liberación de datos es un punto de prueba con 85,336 demostraciones de largo horizonte, cada una compuesta por aproximadamente 6 a 12 demostraciones de habilidades, dependiendo del conjunto. Los conjuntos de datos iniciales cubren casi 1,600 horas de datos de ejecución del robot y 144 millones de fotogramas. En unas pocas semanas, estamos apuntando a una segunda liberación con un conjunto de datos a mayor escala, más habilidades y un benchmarking más completo. También añadiremos una capacidad de entrenamiento de refuerzo (RL) completamente integrada que no está contenida en el paquete actual.
Otras direcciones para ToyBlocks incluyen la manipulación bimanual (con dos brazos) y manos robóticas hábiles, equipadas con sensores de fuerza y tacto para estudiar el movimiento y las tareas que implican contacto físico frecuente. También estamos explorando el juego con pilas desestructuradas de bloques como una forma de recopilar datos y estudiar cómo podrían surgir nuevos comportamientos y tareas a través de la interacción.
Con ToyBlocks, buscamos avanzar en la ciencia del aprendizaje robótico hacia un futuro en el que los robots puedan aplicar de manera confiable lo que han aprendido en tareas y entornos desconocidos. Invitamos a la comunidad de investigación a explorar ToyBlocks para sus propias indagaciones e incluso como base para desarrollar sus propios FoundationWorlds.
En este artículo se mencionan 2 modelos, 1 conjunto de datos y 1 colección. Además, el autor ha trabajado en otros proyectos, como StateBench, que evalúa cómo los modelos de lenguaje rastrean cambios de estado a lo largo de documentos extensos. También se plantea la pregunta de si podemos confiar en los modelos de lenguaje de gran tamaño (LLMs) para juzgar si una idea de investigación es novedosa.
En la sección de comentarios, un usuario expresa su entusiasmo por el concepto y su interés en ver aplicaciones prácticas, sugiriendo la incorporación de inteligencia artificial en sistemas de control lógico programable (PLCs) y sistemas de diagnóstico a bordo (OBD) para adaptar aplicaciones existentes y generar ingresos en nichos específicos.
Fuente original: Hugging Face Blog.
