FR
Un modèle robotique apprend l’évolution des scènes sans générer de vidéo
PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations · arXiv:2610.37381
En termes simples
Pour manipuler des objets, un robot doit tenir compte des changements de la scène pendant ses gestes. PDRVLA transforme des images de caméra et des instructions en commandes pour le robot, en s’appuyant sur un résumé compact de l’apparence, de la forme et du mouvement futurs prévus.
Le modèle apprend ce résumé à partir d’exemples de scènes futures, avec l’aide d’un modèle vidéo pendant l’entraînement. Il peut ensuite agir sans faire fonctionner ce modèle vidéo. Lors d’un test de prédiction, cette aide a réduit l’erreur moyenne ; les tests séparés sur les tâches robotiques ont été réalisés en simulation.
La recherche
Quand un robot déplace un objet, la scène change, tout comme la position des objets les uns par rapport aux autres. Comment peut-il tenir compte de ces changements pour choisir ses actions sans ajouter le délai lié à la génération d’une vidéo future dans sa boucle de contrôle ?
PDRVLA apprend pendant l’entraînement des indices sur l’évolution future de la scène, puis les combine aux informations visuelles et à l’état actuel du robot pour produire des actions sans générer de vidéo en temps réel.
Le module Physical Dynamics de PDRVLA apprend des indices compacts sur l’apparence, la géométrie et le mouvement futurs d’une scène.
Pendant l’entraînement, un modèle vidéo figé fournit une aide supplémentaire ; l’expert en actions du robot utilise ensuite les jetons appris sans faire fonctionner ce modèle vidéo pendant le contrôle.
Dans une comparaison sur des séquences mises de côté, l’expérience avec aide a obtenu une erreur de prédiction moyenne, pondérée à parts égales pour l’image, la profondeur et le mouvement, inférieure à celle de l’entraînement direct seul.
Séparément, PDRVLA affiche de bons résultats moyens de réussite sur quatre tests de simulation, avec une exception pour une tâche particulière.
La comparaison des prédictions mesure l’erreur sur les caractéristiques futures, pas la réussite des actions. Elle n’établit pas que la supervision ajoutée a causé une hausse de la réussite aux tests de simulation.
Les évaluations de la politique couvrent quatre contextes simulés et ne permettent pas d’établir les performances avec de vrais robots.
Ce que montrent les preuves
- De la scène aux actions
Un modèle de manipulation robotique doit relier ce qu’il voit à l’instant présent aux changements possibles des objets et de leurs positions les uns par rapport aux autres, quand il les saisit, les déplace et les pose. Prédire une vidéo future peut fournir ces informations, mais générer une vidéo dans la boucle de contrôle ajoute du délai.
PDRVLA est un modèle vision-langage-action conçu pour utiliser des informations apprises sur l’évolution de la scène afin de produire des commandes, sans faire fonctionner le modèle vidéo pendant le contrôle.
- Apprendre des indices sur la scène future
Le module Physical Dynamics de PDRVLA extrait 50 jetons physiques à partir de représentations intermédiaires vision-langage. Il les apprend à partir de cibles futures portant sur l’image, la profondeur et le mouvement, avec l’aide supplémentaire d’un modèle vidéo figé pendant le préentraînement.
L’expert en actions combine ces jetons avec les représentations de la dernière couche et l’état actuel du robot. Lors de l’entraînement conjoint de la politique, la prédiction directe du futur se poursuit, mais le modèle vidéo est retiré.
- Comparer les prédictions
Une comparaison directe a évalué si les indications du modèle vidéo amélioraient les prédictions au-delà de l’entraînement direct sur les caractéristiques futures. Sur les mêmes 828 séquences RoboCOIN issues de 100 épisodes exclus de l’entraînement, l’erreur de prédiction normalisée moyenne, pondérée à parts égales pour l’image, la profondeur et le mouvement, était de 0.6354 avec ces indications, contre 0.6439 sans elles.
Ce résultat étaye une amélioration des prédictions dans cette comparaison de préentraînement, pas une hausse de la réussite des actions.
- Résultats en simulation
L’article rapporte aussi la réussite des tâches dans quatre tests en simulation : LIBERO pour les tâches à un bras, LIBERO-Plus pour ces tâches avec des changements de vue, d’instructions et d’éclairage, RoboTwin 2.0 pour les tâches à deux mains et SimplerEnv pour des tâches d’association visuelle avec WidowX.
Les moyennes rapportées de PDRVLA sont élevées par rapport aux méthodes publiées, mais le modèle n’arrive pas en tête sur chaque tâche. Par exemple, son score est inférieur à celui d’une méthode de comparaison sur une tâche de SimplerEnv.
- Ce que montrent les résultats
La comparaison des prédictions et les tests de tâches répondent à des questions différentes : la première mesure l’erreur sur les caractéristiques futures, tandis que les autres mesurent la réussite des tâches robotiques.
Les résultats de la politique reposent sur des adaptations propres à chaque benchmark, et les scores de comparaison suivent les protocoles publiés par chaque méthode. Comme les évaluations rapportées ont lieu en simulation, elles ne permettent pas d’établir les performances avec de vrais robots.
Détails
- Auteurs de l’article original
- Hanqing Wang, Zhaotian Cai, Ruichuan An, Bohan Zeng, Tao Zhang
- Soumis à arXiv
- Licence
- arXiv non-exclusive