ES
Los controles de vista explícitos ayudan a separar el movimiento y cambiar de perspectiva
World-in-Context: Interactive Video World Modeling with In-Context Conditioning · arXiv:2610.33169
En palabras sencillas
World-in-Context es un marco que genera video y responde a controles. Le proporciona señales explícitas sobre la perspectiva, las acciones del personaje y el movimiento de la cámara para que pueda tenerlas en cuenta a la vez al generar lo que ocurre después. En 100 escenarios de navegación, las señales explícitas de perspectiva produjeron patrones de movimiento distintos para las vistas en primera persona y de cámara libre.
Con descripciones solo en texto, los patrones se parecían. Es evidencia sobre esos escenarios, no sobre todas las formas de video interactivo.
La investigación
Cuando un modelo de video interactivo recibe una trayectoria de cámara o una orden de movimiento, ¿cómo determina si la escena debe moverse como una vista en primera persona o como una cámara libre?
El artículo pregunta si hacer explícita la perspectiva puede ayudar a coordinar estos controles y facilitar los cambios de perspectiva en el video generado.
World-in-Context es un marco de video interactivo que reúne los controles de perspectiva, acción y cámara para que un modelo pueda coordinarlos al generar video futuro.
World-in-Context combina los controles de perspectiva, acción y cámara al generar video. ¿Ayudaría hacer explícita la perspectiva a que el modelo produzca movimientos acordes con cada vista y cambie de perspectiva cuando se le pide?
En 100 escenarios con las descripciones y las acciones de avanzar fijas, las señales explícitas de perspectiva separaron los perfiles de movimiento en primera persona y de cámara libre, que eran parecidos con descripciones solo en texto.
En WBench, el conjunto de pruebas de navegación y cambios de perspectiva del artículo, el éxito de transición de primera a tercera persona fue del 93,8 % tras un entrenamiento que incluyó secuencias de cambio, frente al 37,5 % después del entrenamiento con una sola perspectiva.
Estos resultados corresponden al marco, los datos de entrenamiento y las condiciones de evaluación descritos. El diagnóstico del movimiento abarca 100 escenarios de navegación, y los resultados sobre cambios de perspectiva se limitan al subconjunto de WBench —el conjunto de pruebas del artículo para navegación y cambios de perspectiva en video interactivo— que evalúa el paso de primera a tercera persona. No establecen el rendimiento en otras tareas o condiciones.
Qué muestran las pruebas
- El reto de coordinar los controles
World-in-Context es un marco de modelado de mundos en video interactivo: genera video futuro en respuesta a la perspectiva, las acciones del personaje y el movimiento de cámara.
El artículo aborda un problema de coordinación: si la perspectiva queda implícita en las descripciones y los controles siguen vías separadas, puede resultar más difícil representar cómo se relacionan la perspectiva, la acción y las señales de cámara.
- Una representación compartida
El marco representa la perspectiva, las acciones y los controles de cámara con señales junto a la representación interna del video, para que un mecanismo de atención compartido pueda relacionarlos. Distingue explícitamente entre cámara libre, primera persona y tercera persona.
Su codificación para relacionar fotogramas a lo largo del tiempo también registra el orden de los cambios de control entre ellos, en lugar de representar solo los extremos.
- Prueba del movimiento según la perspectiva
Para comprobar si las señales explícitas de perspectiva se correspondían con movimientos distintos, los investigadores fijaron la descripción del mundo y la acción de avanzar en 100 escenarios de navegación. Reconstruyeron las trayectorias de cámara generadas y midieron las oscilaciones laterales y verticales en relación con el avance.
Las descripciones de perspectiva solo en texto produjeron perfiles muy parecidos para la cámara libre y la primera persona; las señales explícitas dieron lugar a un movimiento más periódico en primera persona y más suave con cámara libre.
- Qué muestran las evaluaciones
WBench, el conjunto de pruebas del artículo para navegación en video interactivo y cambios de perspectiva, evalúa la navegación y las transiciones solicitadas. En su prueba de cambio de primera a tercera persona, World-in-Context cumplió los criterios de transición en el 37,5 % de los turnos tras entrenarse con una sola perspectiva y en el 93,8 % tras una segunda etapa que incluyó secuencias de cambio.
En WBench Navigation, su puntuación media fue 81,5, cercana al 81,6 de EchoWM, un modelo más grande. Estos resultados respaldan el rendimiento en las pruebas descritas, dentro de sus condiciones específicas de entrenamiento y evaluación.
Detalles
- Autores del paper original
- Harold Haodong Chen, Rui Peng, Rongjin Guo, Lingteng Qiu, Kejie Qiu
- Enviado a arXiv
- Licencia
- CC BY 4.0