FR
La prédiction d’action donne un sens aux canaux relationnels des modèles vidéo
Inside-JEPA: From Prediction to Relational Grounding in Latent World Models · arXiv:2610.31194
En termes simples
Un modèle qui prédit l’apparence future d’une scène peut utiliser n’importe quel code interne prévisible ; cette prédiction ne garantit pas que le code décrive les relations entre les objets. Inside-JEPA ajoute des signaux pour les paires d’objets et entraîne le modèle à déduire l’action effectuée entre deux images à partir des changements de ces signaux.
Dans de courtes vidéos d’action, ses signaux correspondaient mieux aux relations calculées à partir des boîtes d’objets que ceux d’un modèle entraîné uniquement à prédire. Ce test établit un alignement avec des étiquettes fondées sur les boîtes, et non la preuve de relations physiques au-delà de celles-ci.
La recherche
Quand un modèle prédit l’apparence future d’une scène, qu’est-ce qui fait que ses signaux internes représentent les relations entre les objets plutôt qu’un motif prévisible quelconque ?
C’est important, car l’état interne d’un modèle du monde n’est utile pour atteindre des objectifs relationnels que si ces relations peuvent en être extraites.
Inside-JEPA entraîne des canaux pour chaque paire d’objets à aider à déduire l’action entre deux images, ce qui les incite à suivre les relations définies par les boîtes.
Sur Something-Else, un test de courtes vidéos d’actions humaines avec des boîtes d’objets, les chercheurs ont comparé Inside-JEPA à un modèle entraîné uniquement à prédire son état latent futur. Pour chaque relation, ils ont mesuré si un canal associé classait les exemples positifs définis par les boîtes devant les exemples négatifs, puis ont calculé la moyenne de ces scores sur les relations.
La tête de dynamique inverse appliquée aux canaux relationnels a obtenu 0,658, contre 0,593 pour l’entraînement uniquement prédictif, sur trois initialisations d’entraînement.
Ce résultat étaye l’idée que la supervision par les actions aide les canaux à s’aligner sur les relations : la tête de dynamique inverse lisant l’état latent complet a obtenu 0,670, tandis que les contrôles limités aux entités et utilisant des actions mélangées ont obtenu 0,608 et 0,539.
Un contrôle faisant varier la proportion d’étiquettes a également trouvé peu de gain avec des étiquettes pour 1 % ou 5 % des paires, mais un gain de +0,047 pour 25 %.
Les évaluations définissent les relations à partir de boîtes d’objets : elles montrent donc un alignement avec des étiquettes calculées à partir de ces boîtes, sans prouver que les canaux représentent des relations physiques au-delà de celles-ci.
L’étude compare le modèle à une seule référence entraînée uniquement à prédire, et son test de planification porte sur le choix d’une action en une étape dans des séquences Something-Else, à l’aide de modules de lecture ajustés sur des paires d’entraînement annotées par des relations.
Ce que montrent les preuves
- Que doivent représenter les canaux ?
Inside-JEPA est une méthode de modèle du monde JEPA qui ajoute un vecteur de canaux relationnels pour chaque paire ordonnée d’entités dans l’état. Dans le test vidéo Something-Else, les relations évaluées sont calculées à partir de boîtes d’objets en deux dimensions ; par exemple, « à l’intérieur » est une approximation de l’inclusion dans le plan de l’image.
La question est de savoir si ces canaux suivent ces relations, plutôt que de transporter seulement des informations faciles à prédire.
- Relier les canaux aux actions
La prédiction seule ne donne aucune raison à un canal de représenter une relation : un code fixe ou arbitraire peut aussi être prévisible. Inside-JEPA entraîne une tête de dynamique inverse à retrouver l’action effectuée entre deux images à partir des changements dans les canaux relationnels.
Cela crée un signal d’entraînement lié à l’action, sans utiliser d’étiquettes de relations pour entraîner les canaux ni imposer quelle relation chaque canal doit représenter.
- Comparer les signaux d’entraînement
Dans la configuration principale de Something-Else, les chercheurs ont associé chaque relation définie par les boîtes à un canal différent, puis calculé la moyenne des scores indiquant si les canaux associés classaient les exemples positifs devant les exemples négatifs.
Cette moyenne, calculée sur trois initialisations d’entraînement, était de 0,658 pour la tête de dynamique inverse lisant les canaux relationnels et de 0,593 pour l’entraînement uniquement prédictif. La tête de dynamique inverse lisant l’état latent complet a obtenu 0,670 ; les contrôles limités aux entités et utilisant des actions mélangées ont obtenu 0,608 et 0,539.
- Vérifier les étiquettes et les actions robotiques
Un contrôle faisant varier les étiquettes d’action a trouvé un gain d’ancrage presque nul lorsque 1 % ou 5 % des paires d’entraînement étaient étiquetées, mais un gain de +0,047 avec des étiquettes pour 25 % des paires (3 490 paires), contre +0,066 avec toutes les paires étiquetées.
Dans des séquences robotiques comportant des actions continues de l’effecteur terminal et des tâches entières réservées à l’évaluation, le gain par rapport à l’entraînement uniquement prédictif était de +0,081. Le résultat s’étend ainsi à un autre type d’action, avec les boîtes de robots fournies.
- Évaluer ce que les canaux permettent
La prévision des relations qui changent obtient un meilleur score avec l’action réelle qu’avec une action permutée. Dans un test distinct de choix d’action en une étape, un modèle d’évaluation appliqué aux canaux relationnels place l’action correcte parmi les cinq premières dans 42,5 % des objectifs, contre 24,4 % pour un modèle appliqué à l’état latent complet du modèle entraîné uniquement à prédire.
Ces deux résultats suggèrent des usages des canaux dans les séquences vidéo testées ; ils n’établissent ni une réussite générale des actions ni une capacité générale de planification.
Détails
- Auteurs de l’article original
- Hossein Resani, Javen Qinfeng Shi
- Soumis à arXiv
- Licence
- CC BY 4.0