Un solo modello impara a prevedere le scene e a controllare robot diversi

Un modello può imparare come si muovono robot diversi abbastanza bene da prevedere ciò che vedranno e produrre anche le loro azioni? I dataset robotici usano disposizioni e convenzioni diverse per le articolazioni, perciò la stessa posizione nell'elenco dei valori di un'azione può indicare movimenti differenti.

Il paper verifica se una rappresentazione comune possa collegare previsione e controllo tra robot con corpi diversi.

GreenWAM rappresenta i movimenti di robot diversi con coordinate comuni, addestra un modello a prevedere video e azioni e poi lo adatta al controllo.

Su RoboTwin, addestrare un modello con robot dai corpi diversi aiuta quando viene poi adattato al controllo? GreenWAM affronta la domanda con coordinate comuni per le parti del corpo e un modello addestrato a prevedere video, movimenti o entrambi, poi adattato a produrre azioni.

Gli autori hanno adattato GreenWAM e il suo modello di origine in controller con un unico ramo, usando gli stessi dati RoboTwin e la stessa procedura di 3,000 passi. Su 50 compiti, GreenWAM ha ottenuto in media 5.4 punti percentuali di successi in più considerando scene pulite e scene variate casualmente.

Separare un ramo copiato per le azioni ha aggiunto 3.3 punti rispetto al controller GreenWAM con un unico ramo: entrambi i risultati sostengono le rispettive scelte nella configurazione esaminata.

Questi confronti riguardano una sola procedura di adattamento a RoboTwin, un insieme di compiti e un budget di valutazione. Non stabiliscono che gli stessi vantaggi valgano per altri robot o contesti.