Un cadre applique les règles du monde avant de générer les actions
En termes simples
L’article présente Stateful Harness, un cadre qui aide les vidéos générées à respecter les règles d’un jeu lorsque le bon résultat dépend d’une information invisible. Le cadre vérifie d’abord l’état du jeu et ses règles, puis demande à un modèle vidéo dont les poids sont inchangés de montrer l’événement qui en découle.
Un modèle de vision et de langage suggère ce qui a changé dans le clip, et les règles vérifient ces propositions avant le tour suivant. Dans 50 paires de cas, les meilleurs systèmes vidéo sans ce cadre n’ont montré les deux fins requises que dans 32 % des paires. Avec le même modèle MiniMax-H3, le cadre complet a atteint 92 % selon cette mesure.
La recherche
Quand une interaction générée dépend d’une information invisible pour le spectateur, comment faire en sorte que la vidéo montre la bonne conséquence et pas seulement une réaction plausible ?
La question se pose dans les scènes régies par des règles, où une même action visible devrait entraîner des résultats différents selon l’état du monde.
Stateful Harness résout chaque action selon des règles de jeu fixes, puis utilise un modèle vidéo aux poids inchangés pour générer l’événement et guider le tour suivant.
Les auteurs ont testé 50 paires de cas où une valeur cachée imposait des fins différentes malgré une même image d’ouverture et une même action. Un évaluateur multimodal a examiné les clips ; une paire ne comptait que si les deux montraient leur fin requise.
Avec des instructions limitées aux règles, les meilleurs systèmes sans cadre ont obtenu 32 % selon cette mesure.
Pour MiniMax-H3, préciser la fin requise a fait passer ce score à 64 %, mais seules 4 % des paires satisfaisaient à la règle plus stricte, qui exclut aussi les fins interdites.
Avec le même modèle aux poids inchangés, le cadre complet a atteint respectivement 92 % et 90 % selon les deux mesures, ce qui étaye l’approche combinée dans ces cas.
Les éléments présentés proviennent de 50 cas conçus avec un état caché et de trois épisodes illustratifs à plusieurs tours. Ils étayent l’approche pour les interactions testées, mais n’établissent pas ses performances dans des mondes, avec des règles ou sur des épisodes plus longs quelconques.
Analyse
Détails
- Auteurs de l’article original
- Chan Yan Ki, Yanran Zhang, Wenzhao Zheng, Xiaofeng Wang, Zheng Zhu
- Soumis à arXiv
- Licence
- CC BY 4.0