Reflex aiuta un umanoide ad afferrare scatole con una telecamera mobile
In parole semplici
Reflex è un sistema in tre fasi per un robot umanoide che deve afferrare una scatola lanciata da una persona. Prima impara a muovere tutto il corpo, poi a riassumere il movimento della scatola e infine a stimarlo dalle immagini RGB-D di una telecamera che si muove con il robot.
In simulazione, la versione basata sulla telecamera ha afferrato l’85,7% delle scatole di prova, una percentuale vicina all’87,9% ottenuto quando il controllore riceveva informazioni dirette sulla scatola. Sul robot reale il successo è stato più basso, soprattutto con i lanci più lunghi.
La ricerca
Un umanoide che afferra una scatola normale lanciata deve coordinare l’equilibrio e la gestione dell’impatto, prevedendo al tempo stesso un movimento rapido con sensori montati sul proprio corpo in movimento.
Resta da capire se queste esigenze possano essere gestite insieme su hardware reale senza telecamere esterne o oggetti con marcatori, anziché affrontare separatamente la presa con le mani o il controllo del corpo.
Reflex collega controllo dell’intero corpo, predizione del movimento della scatola e visione da una telecamera mobile tramite un’unica rappresentazione latente per la presa con un umanoide.
Reflex si addestra in fasi: un controllore basato sullo stato impara a posizionare il corpo e trattenere la scatola; un secondo modulo comprime le osservazioni ritardate della scatola in una rappresentazione del movimento; un encoder visivo la predice poi dalla cronologia RGB-D e dal movimento della telecamera, mentre il controllore resta fisso. In questo modo l’apprendimento visivo è separato da quello dell’abilità motoria.
Su sei controllori e 640 lanci di prova ciascuno, l’input visivo ha raggiunto l’85,7% di successo nella presa, che richiede sostegno e bassa velocità per 0,6 secondi, contro l’87,9% ottenuto con lo stesso decodificatore e informazioni dirette sulla scatola.
Mantenendo fissi decodificatore e valutazione, il confronto mette alla prova la fonte della rappresentazione latente.
Il confronto principale è stato condotto in simulazione e non garantisce prestazioni con ogni lancio o condizione hardware. La capacità di ricavare informazioni visive sulla scatola a lunga distanza resta debole: a 5 m, in simulazione, il sistema ha raggiunto il 43,0% con input visivo contro il 79,7% con informazioni dirette sulla scatola.
Aggiungere lanci da lontano all’addestramento ha portato il successo simulato al 75,8%, ma il robot non è stato sottoposto a un nuovo test hardware.
Analisi
Dettagli
- Licenza
- arXiv non-exclusive