FR
Un modèle vidéo conserve scènes et actions au fil des tours
Hy-Nomas: Towards Free-form Interactive World Generation · arXiv:2610.36729
En termes simples
Hy-Nomas est un modèle vidéo qui réagit à des consignes textuelles et à des commandes de caméra qui changent au fil de plusieurs tours. La difficulté consiste à suivre chaque nouvelle consigne sans perdre le fil des changements de scène et des actions précédentes.
Le modèle garde à disposition les descriptions durables de la scène, mais limite chaque consigne d’action au segment et au moment où elle s’applique. Dans des comparaisons humaines sur des consignes textuelles à plusieurs tours, les évaluateurs ont plus souvent jugé Hy-Nomas meilleur que LingBot-World v2 adapté pour suivre les consignes. Ce résultat concerne ce test, pas tous les types d’interaction.
La recherche
Quand un modèle vidéo reçoit une nouvelle commande, peut-il la suivre sans perdre la scène ni annuler ce qui s’est passé auparavant ?
La question est difficile, car chaque nouveau segment vidéo s’appuie sur les segments générés précédemment : de petites erreurs peuvent s’accumuler et les détails de la scène doivent rester accessibles.
Hy-Nomas génère des vidéos à partir de commandes textuelles et de caméra changeantes, conserve le contexte de la scène et limite chaque action à sa fenêtre temporelle prévue.
Dans un test de 60 scénarios d’interaction textuelle à plusieurs tours, des annotateurs humains formés ont évalué le respect des consignes par Hy-Nomas face à LingBot-World v2 adapté. Hy-Nomas a obtenu un taux de victoire rapporté de 75,0 % dans des cas comptant de deux à six tours.
Lorsque les consignes textuelles et les commandes de caméra alternaient, Hy-Nomas a obtenu des taux de victoire rapportés plus élevés pour le respect des consignes et la plausibilité physique, mais un taux plus faible pour le contrôle de la caméra. La comparaison suggère que ses points forts dépendent du critère évalué par les annotateurs.
Ces résultats reposent sur des jugements humains lors de tests d’interaction ; Hy-Nomas a obtenu de moins bons résultats que Genie 3 pour la tâche de mémoire spatiale évaluée. Les tests ne mesurent pas la qualité vidéo habituelle et ne montrent pas que les prédictions permettent à un robot d’agir avec succès.
Ce que montrent les preuves
- Le défi des interactions à plusieurs tours
Hy-Nomas est un modèle vidéo du monde doté de 8 milliards de paramètres. Il génère de nouveaux segments vidéo en réponse à des consignes textuelles successives et à des commandes de caméra.
La question est de savoir si un modèle peut répondre à chaque nouvelle commande tout en préservant la scène et les conséquences des actions précédentes. C’est important, car chaque segment sert de contexte au suivant : les erreurs peuvent donc s’accumuler au fil de l’interaction.
- Distinguer la scène de l’action
Hy-Nomas utilise des légendes structurées qui distinguent les descriptions de la scène des actions précises, en indiquant le moment où celles-ci doivent se produire. Ses règles d’attention laissent les descriptions de scène accessibles aux segments suivants, mais limitent chaque consigne d’action au segment et à la fenêtre temporelle prévus.
Cette conception vise à préserver le contexte tout en réduisant les actions effectuées dans le mauvais ordre ou répétées plus tard.
- Des résultats selon le type d’interaction
Les auteurs indiquent que l’introduction de l’attention liée aux actions lors des dernières étapes d’entraînement a fortement réduit les erreurs d’ordre et les répétitions entre segments. Leur compte rendu est qualitatif : il ne fournit pas de mesure numérique contrôlée, et la description citée ne permet pas de savoir si les autres conditions d’entraînement étaient identiques.
Les comparaisons humaines favorisent aussi Hy-Nomas pour le respect des consignes lors des tests textuels à plusieurs tours et des tests alternant texte et caméra, tandis que son taux de victoire pour le contrôle de la caméra est plus faible dans ce dernier test.
- Des résultats plus faibles en mémoire spatiale
Les résultats varient selon la tâche. Dans le test de mémoire spatiale, les annotateurs ont plus souvent jugé Genie 3 que Hy-Nomas capable de préserver une scène lorsqu’il y revient. Les tests évaluent l’interaction, la plausibilité, la navigation et le rappel spatial ; ils ne mesurent pas la qualité vidéo habituelle et ne montrent pas que les résultats générés permettraient à un robot d’agir avec succès.
Détails
- Auteurs de l’article original
- Qiaoling Chen, Jiaxiang Cheng, Xueqing Deng, Tiankai Hang, Ji Hou
- Soumis à arXiv
- Licence
- arXiv non-exclusive