FR
Les politiques robotiques peuvent apprendre du futur sans générer d’images (F1, F3)
Vision-Language-Action or World-Action? Just Action Models · arXiv:2610.37219
En termes simples
Les politiques robotiques apprennent à se déplacer à partir de ce que leurs caméras voient. Certaines méthodes d’entraînement essaient aussi de générer l’image que la caméra verra ensuite, mais on ne sait pas si cette étape est nécessaire pour apprendre à partir du futur.
JAM entraîne une politique à prédire des actions et des caractéristiques d’observations futures enregistrées. Avant le déploiement, le système de prédiction du futur est retiré.
Lors d’un test simulé de tâches perturbées, JAM a réussi plus souvent qu’une politique comparable entraînée à générer des images futures.
La recherche
Quand une politique robotique apprend à partir d’expériences enregistrées, doit-elle générer des images de ce qui va suivre, ou les observations futures peuvent-elles contribuer à l’apprentissage par un autre signal ?
Les approches existantes associent ce choix à d’autres différences, ce qui rend leurs taux de réussite difficiles à interpréter.
JAM entraîne les politiques robotiques à prédire les caractéristiques de futurs enregistrés en même temps que les actions, remplace la génération d’images futures et retire cette branche avant le déploiement.
Pour apprendre ce qu’un robot rencontrera ensuite, l’entraînement doit-il générer des images futures ?
Just Action Model (JAM) aborde cette question en apprenant à une politique robotique à prédire les caractéristiques d’observations futures enregistrées en même temps que ses actions, sans intégrer ces observations à la voie de traitement des actions.
Sur un ensemble fixe de tâches robotiques simulées et perturbées, JAM a réussi 79,95 % des tâches, contre 65,27 % pour une politique comparable entraînée à générer des images futures.
Comme l’architecture et les conditions d’entraînement sont partagées, ce résultat appuie la conclusion que la génération d’images futures n’était pas nécessaire pour obtenir le taux de réussite supérieur dans cette comparaison.
Ces résultats proviennent de tâches robotiques simulées et de protocoles d’évaluation précis. Ils ne permettent pas d’établir les performances de JAM sur des robots physiques.
Ce que montrent les preuves
- Distinguer les choix de conception
Les politiques robotiques peuvent apprendre à partir des actions seules ou apprendre aussi à générer des images futures de la caméra. Comme ces approches peuvent différer par leur modèle visuel préentraîné, leur objectif lié aux observations futures et les modules utilisés au déploiement, un écart de réussite ne montre pas à lui seul quel choix compte.
L’article cherche à savoir si une politique peut apprendre à partir de futurs enregistrés sans objectif de génération visuelle.
- Apprendre à partir de futurs enregistrés
Just Action Model (JAM) est une méthode d’entraînement au contrôle robotique. Elle associe un modèle visuel de base à un module spécialisé dans les actions et les entraîne avec une supervision des actions ainsi qu’une tâche de prédiction : les caractéristiques des observations présentes servent à prédire celles d’observations futures enregistrées.
Un modèle de référence du futur, dont les paramètres restent figés, fournit les caractéristiques cibles. Après l’entraînement, ce modèle et le module de prédiction sont retirés ; seule la voie de traitement des actions reste pour le déploiement.
- Comparer les objectifs liés au futur
Le test principal compare des politiques Ovis-U1 sur LIBERO-Plus, un ensemble simulé de tâches de manipulation robotique perturbées, où réussir signifie accomplir la tâche. Les politiques partagent la même architecture, les mêmes données d’entraînement, le même optimiseur, le même budget et la même voie de déploiement ; JAM remplace la génération d’images futures par la prédiction de leurs caractéristiques.
Sur le sous-ensemble fixe de 1 506 tâches, avec un essai par tâche, JAM réussit dans 79,95 % des cas, contre 65,27 % pour la politique qui génère des images.
- Vérifier l’entraînement limité aux actions
Un contrôle distinct avec Qwen3.5-2B compare l’entraînement sur les seules actions à celui de JAM, qui combine actions et anticipation. Son taux de réussite micro-moyenné sur les tâches LIBERO-Plus passe de 77,03 % à 81,14 %, mais l’entraînement limité aux actions réussit mieux face aux perturbations de l’état du robot et du langage.
La source ne précise pas si les deux conditions partaient du même point de départ d’entraînement, ce qui limite les effets que ce contrôle permet d’isoler.
- Appliquer la méthode à plusieurs familles
JAM est aussi évalué avec des modèles visuels génératifs, auto-supervisés et vision-langage. Sur le même sous-ensemble LIBERO-Plus, les taux de réussite rapportés pour Ovis-U1, DINOv2-L et Qwen3.5-2B sont de 79,95 %, 70,39 % et 81,14 %.
Cela montre que la méthode a été utilisée avec ces familles, mais leurs architectures et interfaces d’action différentes empêchent d’isoler l’effet du préentraînement à partir des écarts de score.
Détails
- Auteurs de l’article original
- Yonghao Yu, Lang Huang, Runyi Li, Toshihiko Yamasaki
- Soumis à arXiv
- Licence
- arXiv non-exclusive