ES
Un modelo de vídeo conserva escenas y acciones entre turnos
Hy-Nomas: Towards Free-form Interactive World Generation · arXiv:2610.36729
En palabras sencillas
Hy-Nomas es un modelo de vídeo que responde a instrucciones de texto y controles de cámara que cambian a lo largo de varios turnos. El reto consiste en seguir cada orden nueva sin perder de vista los cambios anteriores en la escena y las acciones ya realizadas.
El modelo mantiene disponibles las descripciones duraderas de la escena, pero limita cada instrucción de acción al segmento y al momento que le corresponden. En comparaciones humanas sobre instrucciones de texto en varios turnos, los evaluadores juzgaron con más frecuencia que Hy-Nomas seguía mejor las instrucciones que LingBot-World v2 adaptado. Este resultado se refiere a esa prueba, no a todos los tipos de interacción.
La investigación
Cuando un modelo de vídeo recibe una orden nueva, ¿puede seguirla sin perder de vista la escena ni deshacer lo que ocurrió antes?
La pregunta es difícil porque cada nuevo segmento de vídeo se construye a partir de segmentos generados anteriormente: los pequeños errores pueden acumularse y los detalles de la escena deben seguir disponibles.
Hy-Nomas genera vídeo a partir de instrucciones cambiantes de texto y cámara, conserva el contexto de la escena y limita cada acción al intervalo temporal previsto.
En una prueba de 60 escenarios de interacción de texto en varios turnos, anotadores humanos capacitados compararon a Hy-Nomas con LingBot-World v2 adaptado en seguimiento de instrucciones.
Hy-Nomas obtuvo una tasa de victoria informada del 75.0% en una comparación por pares de casos con entre dos y seis turnos.
Cuando se alternaban instrucciones de texto y controles de cámara, Hy-Nomas obtuvo tasas de victoria informadas más altas en seguimiento de instrucciones y plausibilidad física, pero una tasa menor en control de cámara. La comparación sugiere que sus fortalezas dependen de qué estén evaluando las personas.
Estos resultados se basan en juicios humanos sobre pruebas de interacción; Hy-Nomas quedó por detrás de Genie 3 en la tarea evaluada de memoria espacial. Las pruebas no miden la calidad de vídeo convencional ni demuestran que las predicciones permitan ejecutar acciones robóticas con éxito.
Qué muestran las pruebas
- El reto de varios turnos
Hy-Nomas es un modelo de mundo en vídeo de 8 mil millones de parámetros que genera nuevos segmentos de vídeo a partir de instrucciones sucesivas de texto y controles de cámara.
La pregunta es si un modelo puede responder a cada orden nueva y conservar la escena y las consecuencias de las acciones anteriores. Esto importa porque cada segmento sirve de contexto para el siguiente, por lo que los errores pueden acumularse a medida que avanza la interacción.
- Separar la escena de las acciones
Hy-Nomas usa descripciones estructuradas para distinguir la escena de las acciones concretas, que llevan marcas de tiempo. Sus reglas de atención mantienen las descripciones de la escena disponibles para los segmentos posteriores y limitan cada instrucción de acción a su segmento y su intervalo temporal originales.
El diseño busca conservar el contexto y reducir las acciones que ocurren en un orden incorrecto o se repiten más adelante.
- Resultados en distintas interacciones
Los autores informan que incorporar atención consciente de las acciones en etapas posteriores del entrenamiento redujo sustancialmente los errores de orden y las acciones repetidas entre segmentos. El informe es cualitativo: no ofrece una estimación numérica controlada, y la descripción citada no establece si se mantuvieron iguales las demás condiciones de entrenamiento.
En las comparaciones humanas, Hy-Nomas también obtuvo mejores juicios de seguimiento de instrucciones en pruebas de texto en varios turnos y de alternancia entre texto y cámara, aunque su tasa de victoria en control de cámara fue menor en esta última prueba.
- Dónde los resultados son más débiles
Los resultados varían según la tarea. En la prueba de memoria espacial, los anotadores juzgaron con más frecuencia que Genie 3 conservaba mejor la escena que Hy-Nomas al regresar a ella.
Las pruebas evalúan interacción, plausibilidad, navegación y memoria espacial; no miden la calidad de vídeo convencional ni muestran que los resultados generados permitan ejecutar acciones robóticas con éxito.
Detalles
- Autores del paper original
- Qiaoling Chen, Jiaxiang Cheng, Xueqing Deng, Tiankai Hang, Ji Hou
- Enviado a arXiv
- Licencia
- arXiv non-exclusive