FR
Un score d’alignement des mouvements suit la réussite des robots
Sensorimotor Alignment: A Platonic Proxy for Embodied Policy Success · arXiv:2610.31670
En termes simples
Évaluer un modèle de robot en lui faisant essayer des tâches peut prendre du temps. Sensorimotor Alignment (S²) est un score calculé hors ligne : il compare ce qu’un modèle voit et lit aux mouvements enregistrés dans des démonstrations de robots.
Parmi 12 modèles de robot entraînés, les scores les plus élevés allaient de pair avec de meilleurs taux de réussite lors d’un test simulé de manipulation. Ce score pourrait aider à comparer des modèles avant de les mettre à l’épreuve, mais ces résultats ne montrent pas qu’augmenter le score rend un robot plus performant.
La recherche
Peut-on estimer les performances probables d’un modèle de robot avant de prendre le temps de lui faire essayer des tâches ? Les scores existants de compréhension d’images et de qualité vidéo ne mesurent pas directement si les représentations d’un modèle reflètent les mouvements nécessaires au robot.
Sensorimotor Alignment compare les voisinages de caractéristiques sensorielles des modèles de robot à ceux de mouvements enregistrés pour évaluer leur alignement hors ligne.
Les auteurs ont comparé S² à la réussite ultérieure dans plusieurs familles de modèles robotiques.
Dans SimplerEnv, qui teste la manipulation robotique en simulation et mesure le taux de réussite des tâches, S² était positivement associé à la réussite parmi 12 modèles affinés. Le score suivait également la réussite ultérieure des modèles robotiques entraînés à partir de huit modèles de base vision-langage bruts, tandis que les scores agrégés de questions-réponses visuelles ne présentaient pratiquement aucune association.
Des associations apparaissaient aussi pour les modèles d’action du monde et les politiques évaluées avec un robot physique, mais le résultat obtenu avec le robot physique dépendait de l’utilisation d’un horizon de mouvement exploratoire.
Dans l’ensemble, ces observations étayent l’idée que S² peut servir de mesure hors ligne pour repérer les modèles prometteurs à tester davantage.
Ces résultats montrent des associations entre les modèles testés ; ils ne montrent pas qu’augmenter S² améliorerait la réussite d’un robot.
Lors de l’évaluation avec un robot physique, l’association la plus forte n’apparaissait qu’avec un horizon de trajectoire exploratoire ; l’horizon défini à l’avance ne présentait pas d’association positive statistiquement significative.
Ce que montrent les preuves
- Une lacune dans l’évaluation des robots
Les modèles de robot sont souvent évalués en leur faisant accomplir des tâches en simulation ou dans le monde réel, mais ces tests peuvent être lents et produire des résultats variables.
L’article présente Sensorimotor Alignment (S²), une mesure hors ligne qui ne nécessite pas d’entraînement, pour déterminer si les représentations des images et des consignes d’un modèle reflètent les mouvements nécessaires aux tâches robotiques. Contrairement aux scores de questions-réponses visuelles ou de qualité vidéo, elle compare les représentations sensorielles aux mouvements enregistrés.
- Relier les représentations aux mouvements
S² compare les voisins les plus proches de chaque épisode dans deux espaces : l’un construit à partir des caractéristiques des images et des consignes du modèle, l’autre à partir des mouvements enregistrés de robots.
Les auteurs ont vérifié si le chevauchement entre ces voisins suivait la réussite des tâches. Dans SimplerEnv, un test simulé de manipulation robotique qui mesure le taux de réussite, les scores S² les plus élevés allaient de pair avec de meilleurs résultats parmi 12 modèles vision-langage-action affinés.
- Comparer avec un autre score hors ligne
L’association apparaissait aussi pour huit modèles de base vision-langage bruts : leur score S², mesuré avant l’entraînement robotique, suivait les taux de réussite ultérieurs dans SimplerEnv des modèles de robot entraînés à partir de ces bases.
Les scores agrégés de questions-réponses visuelles ne présentaient pratiquement aucune association avec ces taux. Cette comparaison suggère que, pour ces modèles, un score lié au mouvement peut être plus informatif qu’un score général sur les images et le langage.
- Ce que montrent les résultats
Les observations dans d’autres contextes sont encourageantes, mais nuancées. S² suivait la réussite des tâches simulées pour six modèles d’action du monde, ainsi que la réussite de cinq politiques avec un robot physique à un horizon de mouvement exploratoire.
À l’horizon défini à l’avance, l’association avec le robot physique était plus faible et n’était pas statistiquement significative. Les auteurs ont également observé que, dans les modèles affinés, les caractéristiques des images suivaient la réussite plus étroitement que celles des consignes ; un petit test de gel associait par ailleurs un alignement plus faible à une réussite plus faible.
Détails
- Auteurs de l’article original
- Yunfei Xie, Howard H. Qian, Shiyi Lan, Kaiyu Hang, Chen Wei
- Soumis à arXiv
- Licence
- arXiv non-exclusive