FR
Une représentation spatiale commune aide les robots à coordonner leurs vues
World Dreamer v5-lite: A Multi-Robot World Action Model with One Dreamer · arXiv:2610.37518
En termes simples
Des robots qui travaillent ensemble peuvent avoir besoin de ce qu’un autre robot voit. World Dreamer v5-lite rassemble les informations des caméras dans une carte commune de l’espace de travail, puis prédit des actions distinctes pour chaque robot tout en laissant leurs informations interagir.
Dans un test simulé de tâches multi-robots, son taux moyen de réussite était supérieur à celui de la meilleure méthode de comparaison évaluée, sur trois tâches. L’article présente aussi des résultats sur des tâches domestiques et quatre tâches avec des robots physiques : les conclusions concernent ces situations testées.
La recherche
Quand plusieurs robots travaillent dans le même espace, l’un peut avoir besoin d’une information visible uniquement par un autre, alors que leurs vues de caméra ne s’alignent pas automatiquement et que leurs commandes peuvent différer.
Comment une équipe peut-elle partager un contexte visuel utile tout en gardant distinctes les actions de chaque robot ?
World Dreamer v5-lite donne aux robots une représentation spatiale commune de l’espace de travail tout en prédisant des actions séparées, puis évalue l’approche en simulation et avec des équipes physiques.
World Dreamer v5-lite rassemble les images de caméras calibrées dans une représentation spatiale commune.
Chaque robot peut consulter ce contexte et échanger des informations avec ses coéquipiers tout en gardant son propre flux d’actions. Pendant l’apprentissage, certaines vues sont masquées, mais la cible d’action de chaque robot est conservée.
Sur les trois tâches simulées de RoboFactory, les chercheurs ont mesuré un taux moyen non pondéré de réussite de 74,0 %, contre 50,3 % pour π0.5.
Les résultats sur des tâches domestiques et des essais avec des robots physiques montrent également des taux moyens de réussite rapportés supérieurs à ceux des meilleures méthodes comparées dans ces situations.
Ces résultats portent sur trois tâches RoboFactory, quatre tâches avec des robots réels et 50 des 365 tâches de RoboCasa365. Les comparaisons ne permettent pas d’établir les performances sur d’autres tâches ou avec d’autres équipes de robots.
Ce que montrent les preuves
- Le problème de coordination
Dans un espace de travail commun, les caméras de chaque robot ne capturent qu’une partie de la scène, et les images de différentes caméras ne correspondent pas automatiquement aux mêmes endroits. En parallèle, les actions de chaque robot dépendent de celles de ses coéquipiers.
L’article cherche à déterminer comment une équipe peut utiliser les observations recueillies par différents robots tout en conservant des commandes distinctes, même si leurs corps et leurs possibilités d’action diffèrent.
- Partager le contexte, séparer les actions
World Dreamer v5-lite est un système de manipulation multi-robot qui prédit une séquence d’actions pour chaque robot. Il s’appuie sur la géométrie de caméras calibrées pour situer les éléments visuels dans une représentation commune des lieux de l’espace de travail.
La requête de chaque robot consulte cette représentation et échange des informations avec les autres requêtes, tandis que chaque robot conserve son propre flux d’actions et sa proprioception, c’est-à-dire les informations sur l’état de son corps.
- Apprendre avec des vues masquées
Pendant l’apprentissage, le système masque certaines vues de caméra dans les deux voies visuelles, mais conserve comme cible l’action démontrée de chaque robot. Le modèle apprend ainsi à prédire les actions malgré une couverture visuelle incomplète, tandis que les vues disponibles peuvent fournir du contexte.
Cette conception favorise le partage d’informations, mais les comparaisons rapportées n’en isolent pas l’effet de celui du reste du système.
- Comparer la réussite des tâches
RoboFactory évalue des équipes multi-robots sur trois tâches simulées : placer des aliments, orienter une caméra et prendre une photo. Les chercheurs rapportent le taux de réussite, avec le même poids accordé à chaque tâche.
La moyenne de World Dreamer v5-lite était de 74,0 %, contre 50,3 % pour π0.5, la meilleure méthode de référence évaluée. Toutes les méthodes utilisaient la même configuration de caméras modifiée, mais l’article n’établit pas que leurs autres conditions d’apprentissage étaient identiques.
- Évaluer d’autres situations
L’article rapporte aussi des résultats sur des tâches de manipulation domestique et des essais avec des robots physiques. Sur RoboCasa365, le modèle a obtenu 58,08 % sur 50 tâches, dont 30,6 % sur les 16 tâches Composite-Unseen absentes de ses données d’apprentissage Human300.
Sur quatre tâches avec des robots physiques, son taux moyen de réussite était de 78,8 %, contre 65,0 % pour π0.5. Ces résultats étendent les éléments disponibles à ces situations, sans établir les performances sur toutes les tâches domestiques ou toutes les équipes de robots.
Détails
- Auteurs de l’article original
- Guoning Wu, Zijian Cai, Yuhang Zhang, Ying Liu, Yongbin Zheng
- Soumis à arXiv
- Licence
- arXiv non-exclusive