FR
Rollback aide les robots à apprendre en revisitant leurs décisions
Rollback: Experience Backtracking in World Models for Policy Improvement · arXiv:2610.36068
En termes simples
Un simulateur appris peut générer des essais complets pour entraîner un robot, mais leur résultat final ne révèle pas quelle décision a fait la différence. Rollback permet au simulateur du robot de revenir à une décision antérieure et d’essayer différentes séquences d’actions à partir de là.
La méthode compare la fréquence de réussite de ces essais imaginés, utilise ces comparaisons pour entraîner le robot et met à jour le simulateur à partir de l’expérience réelle. Sur trois tâches effectuées par un robot réel, les chercheurs ont mesuré des taux de réussite supérieurs à ceux de leur reproduction d’une autre méthode utilisant le même modèle du monde.
La recherche
Quand une tentative simulée du robot réussit ou échoue, le résultat global ne dit pas quelle décision a fait la différence.
Un modèle du monde appris peut-il aider l’entraînement à comparer différentes actions au même point de décision, pour que le robot tire des leçons qui vont au-delà du résultat d’un essai complet ?
Rollback revient aux points de décision dans le modèle du monde appris du robot, compare différentes actions et utilise ces comparaisons pour améliorer sa politique.
Rollback examine si un modèle du monde appris peut aider à déterminer quelles décisions du robot comptent, plutôt que de consacrer les simulations à des essais prospectifs complets seulement.
La méthode enregistre des contextes intermédiaires, explore d’autres actions et entraîne la politique à partir de leurs résultats relatifs, tout en mettant à jour le modèle grâce à l’expérience réelle du robot.
Sur trois tâches réelles, les chercheurs ont mesuré des taux de réussite supérieurs à ceux de leur reproduction de RISE utilisant le même modèle du monde.
Cela étaye l’approche combinée dans ces tests : le modèle partagé rend les comparaisons informatives, même si l’identité de toutes les conditions d’entraînement n’est pas établie.
Les données portent sur trois tâches, chacune associée à une politique, testées avec un seul robot. La méthode dépend aussi d’un modèle de récompense propre à chaque tâche et de prédictions fiables du modèle du monde sur de longues séquences riches en contacts.
Ce que montrent les preuves
- Le rôle des décisions intermédiaires
Rollback est une méthode d’amélioration des politiques robotiques entraînées avec des modèles du monde appris. L’article s’intéresse à une lacune de l’entraînement fondé uniquement sur des simulations prospectives : un essai simulé donne un résultat global, sans révéler quelles actions intermédiaires l’ont déterminé.
L’idée centrale de Rollback est de revenir à des contextes de décision enregistrés et de tester d’autres possibilités à partir du même historique. L’entraînement peut ainsi comparer des actions plutôt que des essais complets seulement.
- Explorer et comparer les actions
À partir d’un point de décision enregistré, Rollback explore différentes séquences d’actions et réutilise l’historique commun au lieu de le simuler à nouveau. La recherche arborescente de Monte-Carlo répartit le budget limité de simulations entre les branches prometteuses et celles qui ont été moins explorées.
Pour chaque action, la méthode fait la moyenne des résultats de réussite des continuations explorées, puis compare les actions issues du même contexte de décision afin de produire des étiquettes d’entraînement relatives.
- Résultats sur trois tâches
Les chercheurs ont évalué Rollback sur l’extraction de blocs, le lancer de balle et le curling sur table, avec un seul robot AGIBOT Genie-02. La réussite dans le monde réel a été évaluée à partir des résultats physiques, selon les critères propres à chaque tâche.
Les taux de réussite de Rollback dépassaient ceux de la reproduction de RISE par les chercheurs, qui utilisait GE-Sim 2.0, de 10.67, 11.11 et 11.85 points de pourcentage, respectivement. Les méthodes partageaient la même initialisation de politique et le même modèle du monde, et leurs budgets de calcul étaient comparables. Ces résultats étayent l’avantage de l’approche combinée de Rollback dans ces tests.
- Ce que montre l’étude d’ablation
Une étude d’ablation sur l’extraction de blocs a examiné deux composants avec la même initialisation de politique et le même budget de calcul. La réussite était moindre lorsque les mises à jour ultérieures du modèle du monde étaient désactivées, ainsi que lorsque les résultats moyens des branches de l’arbre étaient remplacés par les récompenses de simulations individuelles.
Ces résultats concordent avec l’idée que les deux composants contribuent aux résultats dans le cadre testé pour cette tâche. À eux seuls, ils n’établissent pas l’importance de chaque composant sur toutes les tâches ou dans d’autres conditions.
Détails
- Auteurs de l’article original
- Jiayi Luo, Yang Zhang, Liliang Chen, Nan Wang, Chen Gao
- Soumis à arXiv
- Licence
- CC BY 4.0