La répétition par modèle du monde aide les robots à préserver leurs compétences
En termes simples
Les robots apprennent souvent de nouveaux travaux les uns après les autres, mais modifier leur façon d’agir peut leur faire perdre des compétences acquises. Cet article présente Dream to Remember (D2R), une méthode qui laisse inchangée la politique principale du robot et entraîne un petit module complémentaire pour la guider.
Un modèle du monde apprend à répéter les anciens travaux dans des séquences simulées, afin de rappeler au module comment agir. Dans les séquences de huit tâches de CALVIN et LIBERO, D2R a amélioré la réussite des nouvelles tâches tout en perdant beaucoup moins de compétences antérieures que les méthodes sans répétition.
La recherche
Quand un robot généraliste apprend des tâches une par une, comment peut-il améliorer la tâche actuelle sans modifier les comportements appris auparavant, si les anciennes trajectoires ne peuvent être ni conservées ni rejouées ?
L’article répond à cette difficulté en séparant l’amélioration des tâches de la politique figée et en utilisant des répétitions simulées pour protéger les comportements antérieurs.
D2R pilote une politique robotique figée et répète les tâches antérieures dans un modèle du monde, ce qui améliore les nouvelles tâches tout en limitant l’oubli, sans stocker les trajectoires complètes.
D2R entraîne un petit module de pilotage qui modifie le bruit entrant dans une politique générative figée. Un modèle du monde figé recrée les séquences d’anciennes tâches à partir d’observations initiales, et une pénalité maintient le module proche du comportement antérieur sur ces états.
Si le modèle est assez précis, la nouvelle tâche est apprise en simulation ; sinon, l’apprentissage se fait dans l’environnement.
Dans des séquences de huit tâches, D2R a fait passer le taux moyen final de réussite de 63,7 % à 74,8 % sur CALVIN et de 10,4 % à 74,9 % sur LIBERO. L’oubli, c’est-à-dire la réussite perdue après l’apprentissage d’une tâche, s’élevait à 5,7 et 8,3 points.
Sans répétition, LIBERO a atteint 16,9 % et perdu 78,3 points, ce qui appuie la combinaison du pilotage et des répétitions.
Les résultats portent sur les séquences CALVIN et LIBERO présentées, ainsi que sur trois tâches de manipulation sur table réalisées avec un seul robot Franka.
D2R conserve toujours des observations initiales pour démarrer les répétitions, et l’apprentissage de nouvelles tâches en simulation dépend encore de la précision du modèle du monde.
Analyse
Détails
- Licence
- arXiv non-exclusive