IT
Gli obiettivi di contatto aiutano le mani robotiche a riprodurre il tocco umano
In parole semplici
Le dimostrazioni umane mostrano come si muovono le dita, ma copiare solo i movimenti può non riprodurre il contatto che impedisce a un oggetto di scivolare. Contact-Anchored Retargeting for Dexterous Manipulation (CARD) trasforma queste dimostrazioni in movimenti robotici e tiene traccia dei punti in cui le dita premono, della direzione della spinta e della forza.
Negli esempi video, la mano robotica di CARD ha riprodotto i punti di contatto mostrati più spesso di tre metodi che confrontano i movimenti. Questa misura verifica se la mano raggiunge i contatti giusti, non se ogni attività riesce; durante la riproduzione su hardware reale, CARD usa anche il feedback della forza rilevata sulla punta delle dita.
La ricerca
Un robot può riprodurre dove e come preme una mano umana quando le sue dita hanno una forma diversa e la registrazione non fornisce un modello dell'oggetto?
Copiare solo i movimenti della mano può non riprodurre il contatto: durante la riproduzione le dita potrebbero restare sospese, scivolare sull'oggetto o schiacciarlo.
Contact-Anchored Retargeting for Dexterous Manipulation (CARD) trasforma le dimostrazioni della mano in movimenti robotici preservando i punti di contatto, le direzioni della spinta e le forze desiderate.
In 20 clip video con telefono trasferite alla stessa mano SHARPA Wave, CARD ha raggiunto un tasso di contatto del 61,4%, contro il 7,6–9,7% di tre metodi basati sulla corrispondenza dei movimenti.
Il tasso di contatto è la quota di singole associazioni tra obiettivi e fotogrammi in cui l'obiettivo cade sul collegamento robotico assegnato o entro 2 mm da esso, e il punto più vicino del polpastrello tocca dal lato del palmo.
Tutti i metodi sono stati valutati rispetto agli stessi obiettivi registrati. Nel test video, quindi, CARD ha riprodotto i punti di contatto mostrati con maggiore frequenza.
Il risultato sui video misura il contatto tra posa e obiettivo usando contatti dedotti dal video, non il completamento dell'attività. La qualità del trasferimento resta vincolata alla dimostrazione e la riproduzione open-loop non può correggere uno spostamento consistente dell'oggetto.
Cosa mostrano le prove
- Il contatto che manca al movimento
Contact-Anchored Retargeting for Dexterous Manipulation (CARD) è un metodo che trasforma le dimostrazioni della mano umana in movimenti robotici preservando i contatti e le forze desiderati.
Affronta due problemi collegati: gli strumenti di raccolta possono limitare i movimenti delle persone e copiare solo la posizione delle dita può ignorare le dinamiche del contatto, che determinano se le dita scivolano, restano sospese o schiacciano un oggetto.
- Un formato comune per il contatto
CARD converte ogni dimostrazione in una rappresentazione 3D comune della mano, con obiettivi di contatto associati a regioni della mano. Ogni obiettivo registra il punto di contatto, la direzione della spinta e la forza.
Per ciascun fotogramma, il metodo cerca una posa della mano robotica che raggiunga quegli obiettivi e allinei il polpastrello con la spinta, senza richiedere un modello dell'oggetto o un simulatore. Le forze nei video sono sintetizzate a partire dai contatti previsti, anziché misurate direttamente.
- Le pose mostrano il divario nei contatti
Per confrontare i metodi di trasferimento, lo studio ha applicato ciascuno alla stessa SHARPA Wave, con 22 articolazioni, e lo ha valutato rispetto agli stessi obiettivi di contatto registrati. Il tasso di contatto è la quota di associazioni tra obiettivi e fotogrammi in cui l'obiettivo cade sul collegamento assegnato o entro 2 mm da esso e il punto più vicino del polpastrello è dal lato del palmo.
Su 20 clip di video con telefono, CARD ha raggiunto il 61,4%, mentre i tre metodi basati sulla cinematica hanno ottenuto dal 7,6% al 9,7%: il divario riguarda la corrispondenza dei contatti a livello di posa.
- Il feedback di forza cambia la riproduzione
Una posa robotica che corrisponde a un obiettivo non garantisce che le dita fisiche applichino la forza desiderata. Il sistema tattile di CARD confronta la forza sulla punta delle dita con quella richiesta, regola la flessione delle dita e applica una coppia durante la riproduzione.
Sulla SHARPA Wave, le stesse traiettorie sono state riprodotte con e senza questo sistema per tre attività, con 10 prove ciascuna: i successi sono passati da 1 a 8 per i sollevamenti del martello, da 3 a 10 per quelli della tazza e da 0 a 7 per l'erogazione della senape.
- La rappresentazione si adatta a robot diversi
Lo studio applica CARD a SHARPA Wave, Wuji Hand 2, Unitree Dex3-1 e a una pinza a ganasce parallele usando gli stessi punti di contatto, gruppi di costo e pesi, ma adattando la mappa semantica a ogni robot. Mostra riproduzioni su hardware per le tre mani abili e dimostrazioni trasferite per la pinza, ma non riporta una misura numerica aggregata delle prestazioni tra le diverse configurazioni.
Questo supporta la possibilità di adattare la rappresentazione a forme robotiche diverse, ma non dimostra prestazioni uguali su ciascuna.
Dettagli
- Autori del paper originale
- Cunxi Dai, Botao He, Francois R Hogan, Wei Pan, Rao Fu
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive