Google presenta StreamVibe, un agente de video que busca mejorar la interacción con los usuarios

Investigadores de Google, junto con académicos de Stanford, Oxford y varias universidades de Estados Unidos, están trabajando en un asistente que pueda observar actividades cotidianas, como cocinar o ensamblar muebles, y que solo intervenga cuando sea necesario. Con StreamVibe, han creado un agente de video capaz de comprender solicitudes incluso vagas, como "Por favor, ayúdame si tengo algún problema".

Según el documento presentado, los asistentes de video existentes están diseñados para comandos claros y directos, como "Avísame cuando el agua empiece a hervir", lo que limita su capacidad para captar intenciones no expresadas. Además, estos modelos enfrentan dificultades para seguir el progreso de las tareas, lo que provoca que repitan consejos o respondan demasiado tarde. Cuando los usuarios cambian sus solicitudes a mitad de camino, los asistentes a menudo se aferran a las instrucciones originales.

Para medir el problema, el equipo recopiló un conjunto de referencia que incluye aproximadamente 4,100 ejemplos extraídos de más de 183 horas de grabaciones de la vida cotidiana y de software. Gemini 2.5 Flash fue utilizado para sugerir cuándo ofrecer ayuda y qué decir, mientras que cuatro evaluadores humanos debían aprobar unánimemente cada ejemplo. Las pruebas abarcan tres etapas, que incluyen instrucciones claras, objetivos vagos y solicitudes que cambian con el tiempo. En un ejemplo, un usuario que desarma una excavadora de juguete pide actualizaciones sobre el progreso y luego cambia a solicitar una verificación de calidad después de tres minutos.

A partir de estos datos, los investigadores entrenaron a StreamVibe-VL, un modelo que aparentemente se basa en Qwen3.5-9B de Alibaba, el cual decide cada segundo si debe permanecer en silencio o intervenir. Una segunda etapa de entrenamiento utiliza el aprendizaje por refuerzo para hacer que el modelo sea más reservado y no interrumpa constantemente. Un sistema de memoria separado se encarga de rastrear qué solicitudes están pendientes y qué pasos se han completado, aunque es el modelo quien decide si hablar y qué decir.

Según los investigadores, StreamVibe-VL mejora el tiempo y la calidad de las respuestas en un 10.7% en comparación con otros modelos, mientras que el sistema de memoria está diseñado para aumentar la interacción proactiva en un 12.3% y reducir las interrupciones innecesarias, entre otros beneficios. Sin embargo, todos los modelos probados pierden el hilo de la conversación durante su funcionamiento continuo.

StreamVibe-VL generalmente supera a su modelo base y a otros modelos de código abierto por un amplio margen, aunque el modelo propietario Gemini 3.8 Flash obtiene puntuaciones más altas en varias pruebas. Según el documento, el entrenamiento especializado no perjudica la comprensión general de los videos.

Los modelos suelen tomar la decisión correcta cuando solo tienen que determinar en momentos específicos si un aviso es apropiado. Sin embargo, cuando procesan un video completo y deben construir sobre sus propias respuestas anteriores, el rendimiento de todos los sistemas probados disminuye drásticamente a medida que se acumulan los errores, y una métrica clave de contenido para las respuestas cae hasta un 61.5 por ciento según la historia del propio sistema. En videos que superan los cinco minutos, los modelos rara vez eligen el momento adecuado y encuentran especialmente difícil seguir una instrucción cambiada a lo largo de un tramo prolongado.

En un tutorial de GIMP sobre cómo convertir una foto a blanco y negro, documentado en el artículo y en la página del proyecto, el modelo de comparación JoyAI afirma que la imagen final ya ha sido guardada, a pesar de que el usuario aún no la ha abierto. Por otro lado, StreamVibe-VL proporciona el siguiente paso en el momento adecuado, como "Colores" y luego "Desaturar". En una guía paso a paso para hacer tostadas enrolladas con mermelada, otros modelos simplemente describen lo que ocurre en la pantalla, como el pan siendo aplastado, mientras que StreamVibe-VL aconseja primero cortar la corteza.

Los investigadores reconocen que las situaciones del mundo real son probablemente más complejas que su configuración de prueba, y el trabajo futuro examinará cómo las preferencias del usuario y el entorno se influyen mutuamente a lo largo del tiempo.

Google ha estado trabajando en sistemas de inteligencia artificial que analizan videos de manera activa desde hace un tiempo. En septiembre, Google presentó un análisis de video basado en agentes para Gemini, donde el modelo decide qué escenas examinar más de cerca. Con Gemini 4 Argon, Google también mostró recientemente cómo la IA puede rastrear secuencias de acción más largas en videos de robots y detectar errores. El asistente de StreamVibe está diseñado para entender lo que está sucediendo en cualquier momento y reconocer cuándo su ayuda es realmente necesaria.

En el benchmark ProactiveBench, los modelos de IA a menudo adivinan o se niegan a responder en lugar de hacer preguntas específicas cuando falta información visual. Un benchmark de comprensión de video separado reveló debilidades importantes en el razonamiento espacial y temporal. Además, para los agentes de IA autónomos, la conversación en sí puede perjudicar el rendimiento, como han demostrado investigadores de Microsoft.

Google está trabajando en el desarrollo de inteligencia artificial que pueda comprender las necesidades de las personas mientras trabajan. La compañía busca que esta tecnología no solo procese información, sino que también reconozca y anticipe las demandas de los usuarios en un entorno laboral. Esto podría transformar la manera en que interactuamos con las herramientas digitales, haciéndolas más intuitivas y adaptadas a nuestras rutinas diarias.

Además, Google ha lanzado una serie de iniciativas para mejorar la experiencia del usuario a través de la IA, incluyendo un boletín semanal de noticias sobre inteligencia artificial y un informe exclusivo titulado "AI Radar", que se publica seis veces al año. Estos recursos están diseñados para ofrecer información precisa y sin exageraciones sobre los avances en el campo de la inteligencia artificial, permitiendo a los lectores acceder a un archivo completo de artículos y participar en discusiones comunitarias sobre los temas más relevantes.

Fuente original: The Decoder.