Reflex aide un humanoïde à attraper des boîtes grâce à sa caméra mobile

Pour attraper une boîte ordinaire lancée, un humanoïde doit garder son équilibre et absorber l’impact tout en prévoyant un mouvement rapide à partir de capteurs fixés à son propre corps mobile.

On ne sait pas encore clairement si ces exigences peuvent être réunies sur un robot réel sans caméra externe ni objet marqué, au lieu de traiter séparément l’interception avec les mains et la commande du corps.

Reflex relie la commande de tout le corps, la prédiction du mouvement de la boîte et la vision d’une caméra mobile au moyen d’une représentation latente commune pour l’attrapé par un humanoïde.

Reflex s’entraîne par étapes : un contrôleur fondé sur l’état apprend le placement du corps et la retenue de la boîte ; un deuxième module condense des observations retardées de la boîte en une représentation de son mouvement ; un encodeur visuel prédit ensuite cette représentation à partir d’une séquence RGB-D et du mouvement de la caméra, tandis que le contrôleur reste inchangé. Cette organisation sépare l’apprentissage visuel de celui de la compétence motrice.

Sur six contrôleurs et 640 lancers de test par contrôleur, l’entrée visuelle a atteint 85,7 % de réussite. Pour qu’un attrapé compte, la boîte devait être maintenue et rester à faible vitesse pendant 0,6 seconde.

Le taux était de 87,9 % avec le même décodeur recevant directement des informations sur la boîte. Le maintien du décodeur et de l’évaluation permet de tester la source de la représentation latente.

La comparaison principale repose sur la simulation et ne garantit pas les performances pour chaque lancer ou dans toutes les conditions matérielles. La perception visuelle à longue distance reste limitée : à 5 m, le taux de réussite en simulation était de 43,0 % avec l’entrée visuelle, contre 79,7 % avec des informations directes sur la boîte.

L’ajout de lancers lointains à l’entraînement a porté la réussite simulée à 75,8 %, mais le matériel n’a pas été retesté.