Techinfo
La nueva serie de modelos incluye el Cosmos3-Nano-Transfer-Auto, que permite generar datos de conducción desde múltiples puntos de vista bajo diversas condiciones climáticas, de iluminación y momentos del día. También se encuentra el Cosmos3-Nano-Sim-Auto, que transmite observaciones sincronizadas de cámaras y LiDAR para simulaciones de conducción. Por otro lado, el Cosmos3-Nano-Sim-Transfer convierte los controles de un simulador y un aviso en texto en videos fotorealistas. Finalmente, el Cosmos3-Nano-Sim-Bimanual predice videos a partir de acciones de robots o cámaras. Todos estos modelos son ejemplos post-entrenados del Cosmos 3 Nano y cuentan con 16 mil millones de parámetros entrenables. Utilizan OpenMDW1.1, lo que permite su uso tanto comercial como no comercial bajo sus términos.
La necesidad de estos puntos de control radica en que la robótica requiere entornos que puedan responder a escenas y puntos de vista cambiantes. Estos puntos de control ofrecen formas complementarias de construir dichos entornos: el modelo Sim-Bimanual predice las consecuencias visuales de las acciones, mientras que el modelo Sim-Transfer transforma los controles de un simulador físico en observaciones generadas. En el ámbito de la conducción autónoma, es fundamental que la apariencia y la geometría estén en concordancia. La generación sincronizada de imágenes y LiDAR conecta las observaciones visuales con la percepción en 3D. Los controles de escena y señales de tráfico permiten a los investigadores variar el diseño de las carreteras y los estados de las señales, y estudiar cómo responde una política de conducción ante estos cambios.
Cada observación puede influir en la siguiente acción. La generación en streaming conecta la predicción de video con la interacción en curso, ofreciendo a los investigadores de modelos de mundo una forma de explorar cómo las acciones y las observaciones se desarrollan conjuntamente. NVIDIA tiene como visión ayudar a investigadores y desarrolladores a crear mundos simulados más ricos y responsivos. Los pesos abiertos y las recetas de post-entrenamiento proporcionan un punto de partida compartido para adaptar modelos, comparar métodos y contribuir con mejoras. Sin embargo, estos problemas siguen siendo complejos: el trabajo futuro se centrará en medir dónde los modelos apoyan de manera fiel el aprendizaje y la evaluación de políticas, entender sus limitaciones y mejorar donde sea necesario.
Cosmos3-Nano-Transfer-Auto es un modelo bidireccional diseñado para la generación de datos de conducción sintética de manera offline. Este modelo produce videos sincronizados desde hasta 11 vistas de cámara, incluyendo lentes ojo de pez, y permite la generación conjunta de imágenes RGB y LiDAR. Las especificaciones del Mapa de Escenario Mundial (WSM) por cámara controlan la estructura de la escena y el movimiento del tráfico, mientras que los mensajes de texto guían la apariencia visual.
Los desarrolladores pueden modificar las condiciones ambientales para ampliar la cobertura de entrenamiento y evaluación, con la opción de incluir imágenes RGB iniciales que anclen la apariencia de la escena. La generación conjunta de LiDAR también utiliza controles de rango de mapas de alta definición (HD-map) alineados. Transfer-Auto también sirve como base para adaptar Cosmos a su propio equipo de sensores y dominio de conducción. Se puede comenzar realizando un post-entrenamiento con sus propios datos para ajustar la disposición de las cámaras, la configuración de LiDAR y el entorno objetivo. El modelo adaptado puede utilizarse directamente para la generación de datos offline o someterse a un entrenamiento causal y destilación en pocos pasos para simulaciones rápidas, el camino de desarrollo utilizado para crear Cosmos3-Nano-Sim-Auto.
Cosmos3-Nano-Sim-Auto es la variante de streaming destilada causalmente de Transfer-Auto. Este modelo genera sucesivos pequeños fragmentos de video de cámara y LiDAR sincronizados en solo unos pocos pasos de desruido, utilizando la historia generada y controles de conducción actualizados para soportar un streaming rápido y despliegues interactivos prolongados. Se pueden proporcionar subtítulos por cámara y controles WSM sincronizados, añadiendo opcionalmente imágenes RGB iniciales. Para la generación de LiDAR, se deben incluir controles de rango de HD-Map alineados con los controles de cámara. El modelo destilado genera fragmentos sucesivos utilizando su historia en curso. La interacción en bucle cerrado requiere un tiempo de ejecución de simulación y un renderizador WSM para actualizar esos controles a partir de las entradas de conducción. Para un nuevo equipo de sensores o dominio, primero se debe adaptar Transfer-Auto y luego destilarlo en Sim-Auto.
Sim-Transfer es un sistema de control de simulador que calcula el movimiento, los contactos y el estado físico. Utiliza sus controles espaciales y un mensaje de texto para renderizar observaciones de color que una política puede consumir. El flujo de trabajo se desarrolla de la siguiente manera: acción → actualización del simulador → controles espaciales → RGB generado → siguiente acción de la política.
La nueva tecnología de NVIDIA Cosmos 3 permite simular entornos interactivos mediante el uso de modelos abiertos. Entre las características clave se encuentran el control de profundidad, que se refiere a la distancia relativa desde la cámara; la segmentación, que delimita regiones y bordes de objetos; los bordes, que definen los contornos de la escena; y el desenfoque, que ofrece una apariencia y disposición más gruesas. Además, las guías de texto ayudan a definir la apariencia, mientras que la física y el estado de verdad se mantienen dentro del simulador.
En cuanto al control de video, se puede realizar una inferencia utilizando el modelo Cosmos3-Nano-Sim-Transfer. Para aquellos que prefieren trabajar con notebooks, también está disponible la opción Transfer. El sistema Sim-Bimanual permite que las acciones se traduzcan en video, utilizando un marco de entrada de imágenes y generando un video a partir de un punto de control de simulación de Sim-Bimanual. Este modelo simula cómo evoluciona un entorno en respuesta a las acciones de un robot bimanual, soportando simulaciones interactivas con dos brazos para las encarnaciones YAM y AgiBot, que pueden ser controladas por una política predefinida o por joysticks operados por humanos.
El proceso comienza con una imagen, donde se puede mover el robot o la cámara para generar las siguientes observaciones. Una secuencia de control puede alternar entre cambios de perspectiva y manipulación. En un ejemplo de acción mixta, se utilizan 59 valores de control, que se ajustan a 64 durante el entrenamiento. Su esquema define marcos de coordenadas, rotaciones, calibración de agarres, máscaras de validez y dominios de control. Es importante seguir estas convenciones para que cada valor describa el movimiento previsto.
Es esencial mantener la sincronización en el tiempo: las transiciones T requieren observaciones T+1. El entrenamiento transforma las capturas en bruto en la representación de acciones del modelo; las acciones de inferencia liberadas ya están normalizadas. En este contexto, Sim-Transfer genera visuales a partir del estado actualizado de un simulador físico, mientras que Sim-Bimanual genera la siguiente observación directamente a partir de las acciones de la escena y del robot.
Para utilizar estos modelos, se requiere un sistema operativo Linux, una GPU de NVIDIA, Docker y el NVIDIA Container Toolkit. La configuración publicada de vLLM-Omni fue probada en un GB200; sin embargo, esto no se considera una especificación de memoria mínima. El servidor descarga los pesos necesarios, mientras que los clientes obtienen entradas de muestra. Para realizar inferencias con Cosmos3-Nano-Sim-Bimanual, se puede dirigir el agente a la habilidad abierta correspondiente. Si se prefiere una notebook, se puede acceder a la opción Bimanual.
El funcionamiento de la generación en streaming se basa en la arquitectura Mixture-of-Transformers de Cosmos 3, que conecta redes de procesamiento de texto y generación visual a través de atención. El generador predice cada segmento corto a partir del aviso, los controles disponibles y el historial generado. Este proceso implica la combinación de controles y el historial para generar un fragmento, decodificar imágenes y actualizar el historial.
La técnica de denoising refina representaciones de video comprimidas y ruidosas en un segmento. La atención temporal-causal permite al modelo leer la historia disponible y controlar el proceso, mientras bloquea observaciones futuras del objetivo. Un caché de claves/valores retiene la información de atención para la siguiente predicción.
El modelo opera sobre representaciones de video comprimidas llamadas latentes. Después de la imagen inicial, cada paso temporal latente representa cuatro cuadros RGB. La transferencia predice un paso por cada fragmento; la configuración optimizada Bimanual en el informe predice dos. Fragmentos más pequeños permiten que nuevos controles afecten la generación con mayor frecuencia.
La receta de entrenamiento consta de cuatro etapas. En la Etapa 0, conocida como adaptación bidireccional, se aprende el dominio y las relaciones de control a video a partir de clips grabados completos. La Etapa 1, denominada teacher forcing, consiste en predecir cada fragmento a partir de observaciones grabadas anteriormente y controles disponibles, con la respuesta limpia y los objetivos futuros enmascarados. En la Etapa 2, que se llama destilación de consistencia, se utiliza un maestro congelado para entrenar a un estudiante que genera cada fragmento en cuatro pasos de denoising. Finalmente, la Etapa 3, conocida como auto-forzado, entrena sobre la historia generada por el estudiante. Un maestro congelado y un modelo auxiliar de puntuación proporcionan la señal de coincidencia de distribución.
La importancia de la etapa final radica en que un objeto ligeramente mal predicho se convierte en contexto para cuadros posteriores, lo que puede llevar a que los errores se acumulen. El auto-forzado expone el entrenamiento a esa historia generada. La destilación y el caché reducen el costo de producir cada observación.
Las recetas de post-entrenamiento comienzan desde Cosmos3-Nano o pesos base compatibles y cubren las cuatro etapas. Es importante mantener los puntos de control de entrenamiento completos para reanudar; los pesos de inferencia exportados omiten el optimizador y otros estados de entrenamiento. Transfer-auto permite el post-entrenamiento sobre tus datos de conducción para adaptarse a tu equipo de sensores y dominio, generando datos sintéticos fuera de línea. Sim-auto aplica entrenamiento causal y destilación a un modelo Transfer-Auto adaptado para simulaciones rápidas en streaming. Sim-Transfer permite el post-entrenamiento del punto de control para tu entorno con preparación de datos local, configuraciones de etapa y reanudación. Sim-Bimanual se enfoca en el post-entrenamiento para tu embodiment con validación de datos, configuraciones de etapa, traspasos de puntos de control y exportación.
Proporciona a tu agente de codificación la habilidad y la ubicación del conjunto de datos. Sigue las verificaciones del entorno, valida una muestra y prueba el entrenamiento y la reanudación antes de realizar una ejecución más prolongada. Evalúa la calidad en episodios reservados: una ejecución corta exitosa verifica la ejecución, no la convergencia.
Los puntos de control de los nuevos modelos de NVIDIA están disponibles para su descarga, lo que permite a los desarrolladores y entusiastas explorar las capacidades de simulación interactiva que ofrecen. Además, se puede acceder a la repetición de la transmisión en vivo de Cosmos Labs, donde se presentaron estos avances y se discutieron sus aplicaciones.
En el artículo se mencionan cuatro modelos específicos y dos colecciones que son parte de esta iniciativa. Para aquellos interesados en profundizar en los aspectos técnicos, también se encuentra disponible un blog técnico que detalla las características y funcionalidades de los nuevos modelos.
Fuente original: Hugging Face Blog.
