FR
ChronoReplay entraîne les modèles vidéo à répondre aux questions spatiales
ChronoReplay: One Answer Interface Is Not Enough for Streaming Spatial Intelligence · arXiv:2610.34283
En termes simples
Les questions sur une vidéo peuvent demander des choses différentes : de quel côté se trouve un objet, à quelle distance il est ou à quel moment il apparaît. ChronoReplay est une méthode pour entraîner un seul modèle vision-langage à répondre à ces trois types de questions, en associant chaque réponse à l’historique vidéo disponible à ce moment-là.
Dans les tests de questions catégorielles, d’état spatial sur plusieurs tours et d’événements horodatés, le modèle entraîné obtient des scores supérieurs à ceux du même modèle officiel de départ, avec un accès aux observations maintenu fixe. Les résultats portent sur les scènes d’intérieur évaluées dans l’article.
La recherche
Si un modèle vidéo apprend à répondre à un type de question spatiale, saura-t-il aussi répondre aux questions sur une distance ou un moment ? Le diagnostic de l’article sur une seule famille montre un transfert inégal entre ces types de réponses.
Il soulève donc la question de savoir si un modèle commun peut les apprendre ensemble à partir de l’historique disponible au moment de chaque question.
ChronoReplay entraîne un modèle vision-langage unique à répondre à des questions catégorielles, de distance et de temps, en les associant à l’historique vidéo disponible pour chacune.
OVO-S évalue le raisonnement spatial catégoriel, OST l’état et les relations à plusieurs tours, et UCS les questions causales liées à des horodatages.
Avec un accès aux observations maintenu fixe, l’entraînement supplémentaire fait passer les scores du même modèle Qwen3-VL-8B de 48.98 à 53.89 sur OVO-S, de 50.52 à 63.93 sur OST avec des scènes distinctes, et de 45.33 à 52.77 sur les 8,114 questions UCS.
Comme chaque comparaison maintient fixes les protocoles d’observation et de notation, les résultats étayent des gains sur ces trois formes de raisonnement spatial testées.
Le score Overall d’OVO-S est la moyenne non pondérée de la précision sur 12 familles de tâches ; le score OST est attribué par son évaluateur officiel.
L’évaluation porte sur des scènes d’intérieur, et les chercheurs n’ont pas audité les usages à enjeux élevés. Le diagnostic sur une seule famille compare aussi des groupes d’entraînement dont les tâches couvertes diffèrent ; il ne permet donc pas de montrer que la seule forme de réponse a causé le transfert observé.
Ce que montrent les preuves
- Un historique, plusieurs questions
ChronoReplay est une méthode de post-entraînement pour les modèles vision-langage qui combine une supervision catégorielle, de distance et de temps afin de répondre à des questions sur l’historique d’une vidéo. Les chercheurs se demandent si l’entraînement sur une forme de réponse spatiale se transfère à d’autres formes.
OVO-S-Bench évalue le raisonnement catégoriel, par exemple la permanence des objets et la cartographie ; son score Overall fait la moyenne de la précision sur 12 familles de tâches. OST-Bench évalue l’état et les relations pendant une exploration à plusieurs tours, tandis qu’UCS-Bench porte sur des questions causales liées à des horodatages, concernant notamment les mouvements et les positions.
- Le transfert varie selon la famille d’entraînement
Le diagnostic sur une seule famille montre pourquoi cette question compte. L’entraînement catégoriel seul obtient 58.03 sur OVO-S, mais 47.48 sur OST, contre 50.52 pour le modèle officiel sur OST.
L’entraînement sur les trajectoires seules obtient 51.03 sur OST, tandis que ChronoReplay complet obtient 63.93. Ces résultats suggèrent un transfert inégal entre les types de réponses, mais les variantes à famille unique diffèrent par leurs données sources et les tâches couvertes ; la comparaison ne permet donc pas d’attribuer cet écart à la seule forme de réponse.
- Les scores montent sur trois tests
Les chercheurs ont comparé ChronoReplay entraîné au modèle officiel Qwen3-VL-8B, à partir du même checkpoint et avec un accès aux observations maintenu fixe pour chaque comparaison. La précision moyenne d’OVO-S sur ses 12 familles de tâches passe de 48.98 à 53.89.
Le score de l’évaluateur officiel sur le test OST à plusieurs tours, composé de scènes distinctes, passe de 50.52 à 63.93. Pour les 8,114 questions causales horodatées d’UCS, le score passe de 45.33 à 52.77.
- Les contrôles évaluent deux choix de méthode
Des contrôles évaluent si certains éléments de la méthode comptent dans les contextes testés. Avec les données conjointes et les autres conditions indiquées maintenues fixes, le score moyen de ChronoReplay sur les trois tests est de 56.86, contre 55.57 avec la pondération naturelle des tours et 54.10 avec l’entraînement ordinaire sur les tokens.
Dans les essais OST appariés, le rejeu chronologique obtient en moyenne 2.41 points de plus que le rejeu décalé de façon cyclique. Ce décalage modifie aussi le contexte précédant chaque réponse : le contrôle évalue donc la construction chronologique dans son ensemble.
Détails
- Auteurs de l’article original
- Yihao Hu, Yitong Lin, Pan Wang, Zhihao Wen, Hang Wang
- Soumis à arXiv
- Licence
- arXiv non-exclusive