FR
Les vidéos aident les robots à raisonner sur le mouvement
ThinkWorld: World Imagination Reinforces Chain-of-Dynamics Reasoning · arXiv:2610.37666
En termes simples
ThinkWorld est une méthode d’apprentissage pour les robots qui utilise les mêmes jetons de mouvement pour représenter les vidéos humaines et les démonstrations de robots. Le modèle prédit à quoi ressemblera la scène après un mouvement, puis apprend en comparant sa prédiction à la vidéo. Sur LIBERO-PRO, un test de manipulation robotique qui fait varier les objets, leur position, les consignes, les objectifs et les environnements, ThinkWorld a affiché un taux de réussite moyen de 55,6 % après un entraînement sur LIBERO standard, sans ces changements. Ce résultat concerne ce cadre de test, pas toutes les tâches robotiques.
La recherche
Les démonstrations robotiques indiquent à un robot quelles actions effectuer, mais couvrent moins de comportements que les vidéos humaines, qui ne montrent pas d’actions exécutables par un robot.
On ne sait pas encore clairement si ces vidéos peuvent améliorer le raisonnement d’un robot sur le mouvement tout en le reliant aux changements que ses actions provoquent dans le monde.
ThinkWorld donne aux mouvements humains et robotiques une représentation commune en jetons, puis apprend à privilégier les futurs imaginés qui correspondent aux vidéos.
LIBERO-PRO évalue la manipulation robotique en faisant varier de manière contrôlée les objets, leur position, les consignes, les objectifs et les environnements ; son score correspond à la réussite moyenne sur les axes du benchmark.
ThinkWorld-LIBERO a poursuivi son entraînement sur LIBERO standard, puis a été évalué sans exposition à ces changements, avec un taux de réussite moyen rapporté de 55,6 %. Ce résultat décrit les performances face aux changements testés dans cette configuration d’entraînement.
Dans une étude distincte de préentraînement, la réussite sur LIBERO-PRO a augmenté avec la part de vidéos humaines, tandis que la quantité de données robotiques restait fixe.
Un modèle témoin uniquement robotique, apparié pour l’échelle d’entraînement, aide à distinguer ce résultat d’un gain dû uniquement à l’échelle.
Les résultats d’entraînement présentés reposent sur une seule initialisation. Les intervalles de confiance calculés sur les épisodes ne montrent donc pas la variation entre des modèles entraînés indépendamment.
Les études comparant les vidéos humaines utilisent également des configurations différentes de celle du modèle final.
Ce que montrent les preuves
- Relier deux types d’expérience
ThinkWorld est un cadre d’apprentissage pour le contrôle des robots qui relie vision, langage et action. Il répond à un problème : les démonstrations de robots montrent des actions exécutables, mais couvrent peu de comportements, tandis que les vidéos humaines offrent une expérience plus variée sans montrer les actions d’un robot.
En outre, le mouvement déduit d’une vidéo peut refléter un changement de caméra ou d’apparence plutôt qu’un mouvement contrôlable. Le cadre vise à relier cette expérience vidéo plus large à un raisonnement sur l’action fondé sur le mouvement.
- Donner une forme commune au mouvement
Le cadre représente les mouvements humains et robotiques envisagés au moyen d’une séquence commune de jetons discrets appelée Chain-of-Dynamics, ou CoD. Il apprend cette représentation à partir de démonstrations de robots et de mouvements de mains humains annotés. Les jetons CoD ne sont pas des commandes exécutables par le robot : un expert en action distinct prédit les actions du robot.
Cette représentation commune donne au modèle un moyen de raisonner sur le mouvement à partir des deux sources.
- Apprendre des suites observées
ThinkWorld apprend aussi à partir de ce que les vidéos montrent après un mouvement. Il échantillonne plusieurs séquences CoD possibles, prédit les caractéristiques visuelles futures de chacune et récompense les candidats dont les prédictions correspondent le mieux au futur observé.
Comme une vidéo montre cette transition même sans étiquette d’action, le signal d’apprentissage peut exploiter des vidéos humaines et robotiques sans exécuter les mouvements candidats.
- Mesurer les performances face aux changements
LIBERO-PRO évalue la manipulation robotique en faisant varier les objets, leur position, les consignes, les objectifs et les environnements, et rapporte la réussite moyenne sur ses axes de test. ThinkWorld-LIBERO a poursuivi son entraînement sur LIBERO standard, puis a été évalué sans exposition à ces changements ; son taux de réussite moyen rapporté est de 55,6 %.
Ce résultat étaye la capacité de transfert aux changements présents dans ce test, sans établir les performances sur toutes les nouvelles tâches.
- Évaluer le rôle des vidéos humaines
Dans une étude distincte de préentraînement, la quantité de données robotiques a été maintenue constante tandis que la part de vidéos humaines augmentait. Toutes les variantes ont ensuite été entraînées sur LIBERO standard avant l’évaluation.
La variante comprenant 50 % de vidéos humaines a obtenu environ 1,2 point de pourcentage de plus qu’un modèle témoin entraîné uniquement sur des données robotiques, avec la même échelle et le même nombre d’itérations. L’étude rapporte également des séquences d’exécution qualitativement réussies où le robot assemble les actions d’une tâche complète montrée dans une vidéo humaine, alors que ses démonstrations ne couvraient que des compétences isolées.
Détails
- Auteurs de l’article original
- Chaehyun Kim, Chi-Pin Huang, Jisoo Kim, Min-Hung Chen, Yu-Chiang Frank Wang
- Soumis à arXiv
- Licence
- CC BY 4.0