IT
I video aiutano i robot a ragionare sul movimento
ThinkWorld: World Imagination Reinforces Chain-of-Dynamics Reasoning · arXiv:2610.37666
In parole semplici
ThinkWorld è un metodo per far imparare i robot che usa un insieme condiviso di token di movimento per rappresentare i movimenti nei video umani e nelle dimostrazioni dei robot. Prevede come apparirà la scena dopo un movimento e impara confrontando la previsione con ciò che mostra il video.
Su LIBERO-PRO, un test di manipolazione robotica che varia oggetti, posizioni, istruzioni, obiettivi e ambienti, ha riportato un successo medio del 55.6% dopo l'addestramento sul LIBERO standard, senza quelle variazioni. Il risultato riguarda quella configurazione di test, non ogni attività robotica.
La ricerca
Le dimostrazioni robotiche indicano a un robot quali azioni eseguire, ma coprono meno comportamenti dei video umani, che non mostrano azioni eseguibili da un robot.
Non è ancora chiaro se quei video possano migliorare il ragionamento del robot sul movimento mantenendolo legato ai cambiamenti che le azioni producono nel mondo.
ThinkWorld rappresenta con gli stessi token i movimenti umani e robotici, poi addestra il modello a preferire futuri immaginati che corrispondono ai video.
LIBERO-PRO verifica la manipolazione robotica introducendo variazioni controllate negli oggetti, nelle posizioni, nelle istruzioni, negli obiettivi e negli ambienti; il suo punteggio è il successo medio lungo gli assi del benchmark.
ThinkWorld-LIBERO è stato addestrato ulteriormente sul LIBERO standard e poi valutato senza essere esposto a quelle variazioni: ha riportato un successo medio del 55.6%. Il risultato mostra le prestazioni con le variazioni testate in questa configurazione di addestramento.
Uno studio separato di pretraining ha rilevato un successo più alto su LIBERO-PRO all'aumentare della quota di video umani, mentre la quantità di dati robotici restava fissa; un controllo basato solo su dati robotici e abbinato per scala aiuta a distinguere il risultato da guadagni dovuti soltanto alla scala.
I risultati di addestramento riportati si basano su un solo seed di addestramento, quindi gli intervalli di confidenza calcolati sugli episodi non mostrano quanto varino i risultati tra modelli addestrati in modo indipendente.
Anche gli studi di confronto con video umani usano configurazioni diverse da quelle del modello finale.
Cosa mostrano le prove
- Collegare due tipi di esperienza
ThinkWorld è un framework di apprendimento vision-language-action per il controllo dei robot. Affronta un problema: le dimostrazioni dei robot mostrano azioni eseguibili, ma coprono una gamma limitata di comportamenti; i video umani offrono più esperienze, ma non mostrano azioni robotiche.
Inoltre, i movimenti dedotti dai video possono riflettere cambiamenti della ripresa o dell'aspetto, invece di movimenti controllabili. Il framework mira a collegare l'esperienza più ampia dei video al ragionamento sulle azioni, ancorandolo al movimento.
- Dare al movimento una forma condivisa
Il framework rappresenta i movimenti previsti di persone e robot con una sequenza condivisa di token discreti chiamata Chain-of-Dynamics, o CoD. Apprende questa rappresentazione da dimostrazioni di robot e da movimenti delle mani umane annotati.
I token CoD non sono comandi eseguibili dal robot: un esperto di azioni separato prevede le azioni del robot. La rappresentazione condivisa offre al modello un modo comune per ragionare sul movimento a partire da entrambe le fonti.
- Imparare dagli esiti osservati
ThinkWorld impara anche da ciò che i video mostrano dopo un movimento. Genera sequenze CoD alternative, prevede le caratteristiche visive future per ciascuna e assegna una ricompensa maggiore alle candidate le cui previsioni corrispondono meglio al futuro osservato.
Poiché un video fornisce questa transizione anche senza etichette delle azioni, il segnale di addestramento può usare video umani e robotici senza eseguire i movimenti candidati.
- Misurare le prestazioni con variazioni
LIBERO-PRO verifica la manipolazione robotica variando oggetti, posizioni, istruzioni, obiettivi e ambienti, e riporta il successo medio lungo gli assi del test. ThinkWorld-LIBERO è stato addestrato ulteriormente sul LIBERO standard e poi valutato senza essere esposto a quelle variazioni; il successo medio riportato è stato del 55.6%.
Il risultato supporta il trasferimento alle variazioni di questa configurazione di test, non un'affermazione su tutte le nuove attività.
- Verificare il ruolo dei video umani
In uno studio separato di pretraining, la quantità di dati robotici è rimasta fissa mentre aumentava la quota di video umani; tutte le varianti sono state poi addestrate ulteriormente sul LIBERO standard prima della valutazione.
La variante con il 50% di video umani ha ottenuto un punteggio superiore di circa 1.2 punti percentuali rispetto a un controllo basato solo su dati robotici e abbinato per scala di addestramento e iterazioni. Lo studio riporta anche esecuzioni robotiche qualitative che compongono sequenze complete mostrate nei video umani, sebbene le dimostrazioni robotiche coprissero solo abilità individuali.
Dettagli
- Autori del paper originale
- Chaehyun Kim, Chi-Pin Huang, Jisoo Kim, Min-Hung Chen, Yu-Chiang Frank Wang
- Inviato ad arXiv
- Licenza
- CC BY 4.0