FR
Des flottes de robots améliorent une politique commune grâce à leur expérience
Learning from Fleet Experience: A Collective Learning Paradigm for Robots · arXiv:2610.25736
En termes simples
Les robots peuvent apprendre de ce qui se passe pendant qu’ils accomplissent des tâches réelles, mais il devient plus difficile de faire surveiller et corriger chaque erreur par des personnes à mesure que la flotte grandit.
Cet article propose une méthode pour que les robots partagent leur expérience et améliorent une politique commune à une tâche. Quand un robot échoue, la méthode se sert du contexte de l’échec pour trouver, dans l’expérience de la flotte, des exemples pertinents d’actions réussies.
Pour Phone Packaging, la politique entraînée a davantage réussi que la politique de départ lors de tests sur deux robots qui n’avaient pas fourni de données d’entraînement. Les tests portaient sur cette tâche et cette plateforme.
La recherche
Quand les robots rencontrent des conditions inconnues pendant des tâches réelles, leurs échecs révèlent les lacunes de la politique.
Mais à mesure que les flottes grandissent, peuvent-ils progresser grâce à leur expérience en situation réelle sans que des opérateurs surveillent et corrigent chaque essai ?
FERT utilise les échecs des robots pour trouver des actions réussies pertinentes dans l’expérience de la flotte, puis entraîne une politique commune à partir de ces actions.
Après une initialisation supervisée par des experts, FERT utilise le contexte des échecs pour retrouver des actions réussies pertinentes dans l’expérience de la flotte et entraîner la politique commune.
Les personnes indiquent toujours l’issue des épisodes et réinitialisent les environnements ; les robots fournissent les exemples d’actions.
Pour Phone Packaging, la politique de départ choisie a réussi dans 79,2 % des essais, contre 98,3 % après un entraînement avec FERT et 96 robots. Les chercheurs ont calculé ces deux taux à partir de 120 essais autonomes réalisés sur deux robots exclus de la collecte des données d’entraînement.
Les résultats sur les tâches portent sur cinq tâches de table réalisées avec une seule plateforme de robots, et les comparaisons pour Phone Packaging concernent les configurations d’entraînement indiquées. Le résultat théorique porte sur une seule mise à jour suffisamment petite, sous certaines hypothèses ; il ne garantit pas les résultats d’apprentissages répétés.
Ce que montrent les preuves
- Apprendre de l’expérience de la flotte
Collective experience learning (CEL) est l’approche proposée par l’article pour que des robots partagent leur expérience en situation réelle et améliorent une politique commune à une tâche. Elle répond à un problème d’échelle : les corrections humaines peuvent aider lorsque des robots rencontrent des erreurs pendant leur travail, mais des opérateurs doivent surveiller les robots et intervenir.
L’article cherche à savoir si l’expérience d’une flotte peut alimenter l’apprentissage sans recueillir de nouvelles corrections d’experts.
- Trouver des exemples grâce aux échecs
Failure-guided experience retrieval fine-tuning (FERT) met en œuvre CEL en utilisant les exécutions ratées pour repérer des séquences pertinentes dans les trajectoires réussies des robots. Les échecs déterminent quels exemples réussis sont davantage mis en avant ; les actions ratées ne sont pas copiées comme cibles d’entraînement.
Les actions réussies enregistrées servent de cibles aux mises à jour de la politique. Dans les expériences, des personnes indiquent toujours l’issue des épisodes et réinitialisent les environnements.
- Tester sur d’autres robots
Les chercheurs ont évalué cinq tâches de table en conditions réelles avec des robots AgiBot G2. Pour chaque politique et chaque tâche, ils ont effectué 60 essais autonomes sur chacun de deux robots exclus de la collecte des données d’entraînement, puis regroupé les essais pour calculer les taux de réussite.
Ce protocole vérifie si l’apprentissage à partir de l’expérience se transfère à d’autres exemplaires de la même plateforme robotique.
- Comparer l’expérience et les résultats
Pour Phone Packaging, la politique de départ choisie, entraînée avec supervision d’experts, a réussi dans 79,2 % des essais, contre 98,3 % pour FERT entraîné avec 96 robots. Chaque taux correspond aux essais réussis sur 120 essais autonomes réalisés au total sur deux robots de test.
À durée de collecte identique par robot, FERT avec 96 robots d’entraînement a aussi surpassé FERT avec 16 robots pour cette tâche, même si cette comparaison porte sur une quantité totale d’expérience plus importante.
- Évaluer la contribution de la récupération
Lors d’un autre test de Phone Packaging avec 16 robots d’entraînement, les chercheurs ont retiré la récupération guidée par les échecs et échantillonné uniformément les expériences réussies. Le taux de réussite est passé de 86,7 % à 64,2 %, les autres paramètres étant maintenus fixes.
Ce résultat étaye la contribution de la récupération dans cette configuration précise. Une analyse théorique établit un résultat local apparenté pour une seule mise à jour suffisamment petite, mais uniquement sous les hypothèses indiquées sur la réutilisation des données et la récupération.
Détails
- Auteurs de l’article original
- Chao Yu, Shu'ang Yu, Hao Lin, Hongzhi Zang, Yuxiang Yan
- Soumis à arXiv
- Licence
- CC BY 4.0