Le toucher aide les robots à manipuler avec ou sans données tactiles
En termes simples
Pour manipuler des objets, les mains des robots doivent souvent déduire le contact à partir d’images, qui montrent mal la pression ou le glissement. Cet article présente Spark-0, un modèle de commande robotique entraîné avec le toucher et la vidéo. Le toucher lui apprend où se produisent les contacts et peut aussi l’aider à choisir ses actions lorsque des capteurs tactiles sont disponibles.
Sur cinq tâches réalisées par un robot réel avec toucher en direct, Spark-0 a obtenu un taux de réussite moyen supérieur à celui du meilleur système de comparaison. Ce résultat concerne les tâches et la configuration robotique testées.
La recherche
Quand un robot manipule un objet, les images ne montrent pas toujours clairement où sa main le touche ni s’il glisse. Le toucher peut-il aider le robot à apprendre de meilleures représentations visuelles, de façon à conserver cet avantage lorsqu’il agit ensuite sans données tactiles ?
Spark-0 utilise le toucher pour guider l’apprentissage visuel et, lorsqu’il est disponible, orienter les actions ; un même modèle peut être déployé avec ou sans toucher.
Le toucher peut-il aider un robot à mieux comprendre les images, même s’il doit ensuite agir sans données tactiles ?
Pendant l’entraînement, Spark-0 s’appuie sur des cartes de contact et des caractéristiques géométriques pour guider l’apprentissage visuel, tandis qu’une voie distincte peut transmettre les données tactiles en direct à son générateur d’actions.
Sur Ego Humanoid, qui mesure l’accomplissement de tâches dans quatre configurations visuelles et de durée, le modèle entraîné avec 1 000 heures de données tactiles a atteint un taux de réussite moyen de 71,72 % lorsqu’il était évalué sans toucher, contre 52,45 % pour la variante de préentraînement fondée uniquement sur la vision.
Le recours aux mêmes données RGB, au même calcul et au même budget d’entraînement en aval constitue un indice de la contribution du préentraînement tactile.
Les comparaisons portent sur des tâches précises réalisées par des robots et sur des configurations d’entraînement données. Le résultat obtenu sur Ego Humanoid n’explique pas pourquoi le toucher aide, et aucune des deux évaluations ne permet d’établir les performances sur des tâches ou des robots autres que ceux testés.
Analyse
Détails
- Auteurs de l’article original
- Tianxing Chen, Wenwei Lin, Chuqiao Lyu, Peicheng Xiang, Junyuan Tang
- Soumis à arXiv
- Licence
- arXiv non-exclusive