Una policy robotica segue riferimenti a oggetti con due mani

Come può un unico controllore robotico seguire un riferimento di movimento a due mani quando le mani hanno ruoli diversi e toccano l'oggetto in momenti differenti?

La precisione delle pose delle mani non garantisce che l'oggetto si muova come richiesto, e sono pochi gli esempi tracciati completamente con contatto prolungato di entrambe le mani.

DONIC addestra un unico controllore robotico con feedback sul movimento dell'oggetto e sul contatto di ciascuna mano, oltre a dimostrazioni verificate, per seguire diversi riferimenti a due mani.

Il paper chiede come un unico controllore robotico possa seguire riferimenti a due mani quando cambiano i ruoli delle mani e i tempi del contatto, e la precisione delle pose potrebbe non bastare a far seguire all'oggetto il riferimento di movimento. Sono pochi anche gli esempi tracciati completamente con contatto prolungato di entrambe le mani.

DONIC addestra un controllore condiviso usando feedback sul movimento dell'oggetto e sul contatto di ciascuna mano, poi lo confronta con due metodi adattati su partizioni di simulazione tenute da parte. Senza ulteriore addestramento, ha rispettato le soglie di tracciamento per entrambe le mani nell'86.79% delle traiettorie non viste con oggetti presenti nell'addestramento e nel 57.32% delle clip con oggetti tenuti da parte. I risultati supportano il tracciamento dei riferimenti testati.

Questi risultati supportano il tracciamento dei riferimenti nelle simulazioni testate. Non mostrano che DONIC possa svolgere attività senza vincoli o generalizzare a nuove categorie di operazioni.