FR
Des commandes de vue explicites aident les modèles vidéo à distinguer les mouvements et à changer de perspective
World-in-Context: Interactive Video World Modeling with In-Context Conditioning · arXiv:2610.33169
En termes simples
World-in-Context est un cadre qui génère des vidéos en réponse à des commandes. Il donne au modèle des indications explicites sur le point de vue, les actions du personnage et les mouvements de caméra, afin qu’il puisse les prendre en compte ensemble pour créer la suite de la vidéo. Dans 100 scénarios de navigation, les indications explicites sur le point de vue ont produit des profils de mouvement différents pour la première personne et la caméra libre.
Avec de simples descriptions textuelles, ces profils se ressemblaient. Ces éléments concernent les scénarios testés, pas toutes les formes de vidéo interactive.
La recherche
Lorsqu’un modèle vidéo interactif reçoit une trajectoire de caméra ou une commande de mouvement, comment sait-il si la scène doit bouger comme dans une vue à la première personne ou comme sous une caméra libre ?
L’article examine si rendre le point de vue explicite peut aider à coordonner ces commandes et faciliter les changements de perspective dans les vidéos générées.
World-in-Context réunit les commandes de point de vue, d’action et de caméra afin que le modèle puisse les coordonner en générant la suite d’une vidéo interactive.
World-in-Context réunit les commandes de point de vue, d’action et de caméra pour générer des vidéos. Rendre le point de vue explicite aide-t-il le modèle à produire des mouvements adaptés à la perspective et à changer de vue sur demande ?
Dans 100 scénarios où la description et la commande d’avancer étaient maintenues fixes, les jetons explicites ont différencié les profils de mouvement à la première personne et en caméra libre, que les descriptions textuelles seules rendaient similaires.
Dans le test de WBench consacré au passage de la première à la troisième personne, la réussite des transitions a atteint 93,8 % après un entraînement comprenant des séquences de changement de point de vue, contre 37,5 % après l’entraînement à vue unique.
Ces résultats concernent le cadre présenté, ses données d’entraînement et les conditions d’évaluation rapportées. Le diagnostic des mouvements porte sur 100 scénarios de navigation, et les résultats sur les changements de point de vue concernent le sous-ensemble de WBench qui évalue le passage de la première à la troisième personne. Ils ne permettent pas d’établir les performances sur d’autres tâches ou dans d’autres conditions.
Ce que montrent les preuves
- Coordonner les commandes
World-in-Context est un cadre de modélisation interactive du monde en vidéo : il génère la suite d’une vidéo en fonction du point de vue, des actions du personnage et des mouvements de caméra. L’article s’attaque à un problème de coordination.
Le mode de vue peut rester implicite dans les descriptions, et des voies de commande séparées peuvent compliquer la représentation des interactions entre le point de vue, l’action et les commandes de caméra.
- Une représentation partagée
Le cadre représente le point de vue, les actions et les commandes de caméra par des jetons placés à côté des représentations internes de la vidéo, où l’attention partagée peut établir des liens entre eux.
Il distingue explicitement la caméra libre, la première personne et la troisième personne. Son encodage de l’attention temporelle suit également l’ordre des changements de commande entre les images, au lieu de ne représenter que les points de départ et d’arrivée.
- Tester les mouvements liés au point de vue
Pour vérifier si des indications explicites sur le point de vue correspondent à des mouvements distincts, les chercheurs ont fixé la description du monde et la commande d’avancer dans 100 scénarios de navigation. Ils ont reconstitué les trajectoires de caméra générées et mesuré les oscillations latérales et verticales par rapport à la distance parcourue vers l’avant.
Les descriptions textuelles seules ont donné des profils largement similaires pour la première personne et la caméra libre ; les jetons explicites ont produit des mouvements plus périodiques à la première personne et plus fluides en caméra libre.
- Ce que montrent les évaluations
WBench évalue la navigation en vidéo interactive et les changements de point de vue demandés. Dans son sous-ensemble consacré au passage de la première à la troisième personne, World-in-Context a satisfait aux critères de transition dans 37,5 % des tours après l’entraînement à vue unique, puis dans 93,8 % après une deuxième étape incluant des séquences de changement de point de vue.
Sur WBench Navigation, sa moyenne était de 81,5, proche des 81,6 d’EchoWM, un modèle plus grand. Ces résultats étayent les performances obtenues lors des tests rapportés, dans le cadre précis de leur entraînement et de leur évaluation.
Détails
- Auteurs de l’article original
- Harold Haodong Chen, Rui Peng, Rongjin Guo, Lingteng Qiu, Kejie Qiu
- Soumis à arXiv
- Licence
- CC BY 4.0