Entraîner les politiques robotiques à agir après un mouvement de caméra

Quand un robot déplace la caméra fixée à son poignet pour voir derrière des objets encombrants, son point de vue et sa position changent ensemble.

Une politique de manipulation entraînée sur des démonstrations ordinaires peut-elle poursuivre de façon fiable depuis cette nouvelle combinaison d’indices visuels et d’état du robot ?

ActiveAlign entraîne les politiques d’action robotiques existantes sur des suites réussies qui commencent aux points d’arrivée du mouvement de caméra, afin de les préparer aux points de vue rencontrés en manipulation.

Dans une simulation de 40 tâches de manipulation LIBERO, chaque politique a été évaluée avec des positions de départ perturbées, selon la réussite moyenne d’accomplissement des tâches.

L’ajout du mouvement de caméra aux politiques entraînées selon la méthode standard a fait baisser cette moyenne ; les politiques entraînées avec ActiveAlign ont atteint 70,7 % pour π₀ et 72,7 % pour π₀.₅, contre 30,7 % et 46,3 % avec l’entraînement standard.

Comme les politiques adaptées sont entraînées sur des suites réussies qui commencent aux points d’arrivée du module de caméra, elles ont mieux fonctionné dans le même scénario de départ décalé.

Ces résultats étayent l’idée que préparer une politique de manipulation au nouveau point de vue et au nouvel état du robot peut rendre utile le mouvement actif de la caméra ; la comparaison modifie à la fois les données d’entraînement et l’utilisation du module de choix du point de vue.

Les résultats sur LIBERO concernent les politiques testées et le protocole de simulation avec positions de départ perturbées. Une évaluation physique distincte a testé π₀.₅ sur trois tâches de manipulation de pommes et trois niveaux d’occlusion, pour un total de 90 essais.

L’adaptation hors ligne nécessite un alignement et une relecture réussis, et le système déployé choisit un point de vue une seule fois avant la manipulation.