ES
Un marco de vídeo aplica las reglas del mundo antes de representar acciones
State World Models: Execute the Rules, Generate the Pixels · arXiv:2610.26811
En palabras sencillas
El artículo presenta Stateful Harness, un marco que ayuda a que los vídeos generados sigan las reglas de un juego cuando el resultado correcto depende de información que no se ve. Primero comprueba el estado del juego y sus reglas; después pide a un modelo de vídeo con pesos fijos que muestre el evento resultante.
Un modelo de visión y lenguaje propone qué cambió en el clip, y las reglas verifican esas propuestas antes del siguiente turno. En 50 pares de casos, los mejores sistemas de vídeo sin el marco mostraron ambos desenlaces requeridos en solo el 32% de los pares. Con el mismo modelo MiniMax-H3, el marco completo alcanzó el 92% en esa medida.
La investigación
Cuando una interacción generada depende de información que el espectador no puede ver, ¿cómo puede el vídeo mostrar la consecuencia correcta y no solo una respuesta plausible?
La pregunta importa en escenas regidas por reglas, donde la misma acción visible debería tener resultados distintos según el estado del mundo.
Stateful Harness resuelve cada acción según reglas fijas del juego y luego usa un modelo de vídeo con pesos fijos para representar el evento e informar el siguiente turno.
Los autores evaluaron 50 pares de casos en los que la misma imagen inicial y la misma acción exigían desenlaces distintos debido a un valor oculto. Un evaluador multimodal revisó los clips, y cada par solo contaba si ambos mostraban sus desenlaces requeridos.
Con instrucciones que solo especificaban la regla, los sistemas sin el marco con mejores resultados alcanzaron el 32% en esta medida.
En MiniMax-H3, indicar el desenlace requerido elevó esa puntuación al 64%, pero solo el 4% de los pares cumplió la regla más estricta, que también excluye los desenlaces prohibidos.
Con el mismo modelo de pesos fijos, el marco completo alcanzó el 92% y el 90% en las dos medidas, lo que respalda el enfoque combinado en estos casos.
La evidencia procede de 50 casos diseñados con estados ocultos y tres episodios ilustrativos de varios turnos. Respalda el enfoque en las interacciones evaluadas, pero no establece su rendimiento en mundos, reglas o episodios más largos arbitrarios.
Qué muestran las pruebas
- Un estado oculto cambia el resultado
Stateful Harness es un marco que separa la ejecución de reglas de la representación de vídeo en mundos interactivos. El problema es que un vídeo generado a partir de una acción puede parecer una respuesta adecuada y, aun así, mostrar un resultado que infringe las reglas del mundo, sobre todo cuando el resultado correcto depende de un estado oculto.
Por ejemplo, abrir un cofre cerrado debería depender de si el jugador tiene una llave, aunque la imagen inicial sea idéntica.
- Crear pruebas por pares con estados ocultos
Para evaluar este problema, los autores crearon WorldState-Bench, una prueba para comprobar si el vídeo representa los resultados que exigen las reglas cuando cambian valores ocultos. Sus 50 pares comparten el fotograma inicial y la acción, pero en cada par el valor oculto exige desenlaces visibles distintos.
PairFollow solo cuenta un par si ambos clips muestran sus desenlaces requeridos. Con instrucciones que solo especificaban la regla, los mejores sistemas sin el marco, Wan2.2 y MiniMax-H3, empataron con un 32% de los pares.
- Indicar el desenlace ayuda en parte
Después, los autores evaluaron si bastaba con indicar explícitamente el desenlace deseado. En MiniMax-H3, añadir esa instrucción elevó PairFollow del 32% al 64% de los pares.
Sin embargo, PairStrict, que también exige que ambos clips eviten el desenlace prohibido, fue solo del 4%. La instrucción ayudó al modelo a mostrar con más frecuencia ambos desenlaces requeridos, pero rara vez cumplió la condición más estricta en los dos clips.
- El marco completo eleva las puntuaciones
Con los mismos pesos fijos de MiniMax-H3, Stateful Harness alcanzó un 92% en PairFollow y un 90% en PairStrict en los 50 pares. El evaluador puntuó los clips generados y cada par solo contó cuando ambos clips cumplían las condiciones de la medida.
Como el marco combina la ejecución de reglas, las instrucciones compiladas y las referencias visuales, la comparación respalda el sistema completo en estos casos, pero no muestra qué elemento añadido fue el más importante.
Detalles
- Autores del paper original
- Chan Yan Ki, Yanran Zhang, Wenzhao Zheng, Xiaofeng Wang, Zheng Zhu
- Enviado a arXiv
- Licencia
- CC BY 4.0