I video umani possono migliorare le policy robotiche dopo l'allineamento

I dati sulle interazioni con i robot sono costosi, ma i video umani contengono attività mano-oggetto molto più varie.

Resta da capire se questi video possano insegnare qualcosa di utile a una policy robotica, pur non registrando comandi per i robot e mostrando movimenti umani che un robot non può eseguire direttamente.

Apprende segnali continui simili ad azioni dai cambiamenti tra fotogrammi di video umani, poi li allinea alle azioni robotiche affinché più video possano sostenere il pre-addestramento delle policy.

La scelta centrale dello studio è apprendere una latent action continua da ogni transizione tra fotogrammi di un video umano, quindi usarla per l'addestramento iniziale della policy.

Durante l'embodiment alignment e l'addestramento sulle singole attività, questa supervisione viene sostituita da sequenze di azioni eseguibili dal robot di destinazione.

Nel confronto controllato sull'aumento dei dati, è cambiata solo la quantità di video umani ripuliti usata nella Fase 1. In tre attività sul robot AgiBot G1, il successo medio è salito dal 63.3% con 1K ore all'85.0% con 5K ore, mantenendo fissi i dati robotici e le condizioni di valutazione.

Ciò sostiene l'interpretazione degli autori secondo cui, con questo protocollo, la supervisione con latent action rende utile una maggiore quantità di video umani.

Il metodo presume che i cambiamenti visivi appresi dai video umani possano diventare una supervisione utile per i robot dopo l'embodiment alignment, ma questa corrispondenza non è garantita.

Le prove su robot reali riguardano sette attività su una sola piattaforma, con 20 prove per condizione: non dimostrano una robustezza ampia in fase di deployment.