IT
Un modello robotico apprende i cambiamenti della scena senza generare video
PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations · arXiv:2610.37381
In parole semplici
Per afferrare e spostare oggetti, un robot deve tenere conto di come cambia la scena mentre agisce. PDRVLA trasforma immagini delle telecamere e istruzioni in comandi per il robot, usando una sintesi compatta dell’aspetto, della forma e del movimento futuri previsti.
Durante l’addestramento, il modello impara questa sintesi da esempi di scene future e con l’aiuto di un modello video; poi agisce senza eseguire quel modello video. In un test sulle previsioni future, l’aiuto aggiuntivo ha ridotto l’errore medio. Test separati sulle attività robotiche sono stati condotti in simulazione.
La ricerca
Quando un robot sposta un oggetto, cambiano la scena e i rapporti spaziali tra gli elementi. Come può usare informazioni su questi cambiamenti per scegliere le azioni senza aggiungere al ciclo di controllo la latenza della generazione di video futuri?
PDRVLA impara indizi sulla scena futura durante l’addestramento e li combina con le informazioni visive correnti e con lo stato del robot per generare azioni senza generare video in tempo reale.
Il Physical Dynamics Module di PDRVLA apprende indizi compatti sull’aspetto, la geometria e il movimento futuri della scena.
Durante l’addestramento, un modello video congelato fornisce una guida ausiliaria; in seguito l’action expert del robot usa i token appresi senza eseguire quel modello video durante il controllo.
In un confronto su dati esclusi dall’addestramento, la sessione assistita ha ottenuto un errore di previsione medio, con pesi uguali, inferiore a quello del solo addestramento diretto su immagine, profondità e movimento.
Separatamente, PDRVLA ha riportato medie elevate nel successo delle attività in quattro test simulati, con un’eccezione a livello di singola attività.
Il confronto sulle previsioni misura l’errore sulle caratteristiche future, non il successo delle azioni, e non dimostra che la supervisione aggiuntiva abbia causato un aumento del successo nei test di simulazione.
Le valutazioni della policy riguardano quattro ambienti simulati e non stabiliscono le prestazioni con robot reali.
Cosa mostrano le prove
- Dalla scena alle azioni
Un modello per la manipolazione robotica deve collegare ciò che vede nel presente a come potrebbero cambiare gli oggetti e i loro rapporti spaziali mentre li afferra, li sposta e li deposita. Prevedere un video futuro può fornire queste informazioni, ma generare video nel ciclo di controllo aggiunge latenza.
PDRVLA è un modello vision-language-action progettato per usare informazioni apprese sulla scena futura quando genera comandi per il robot, senza eseguire il modello video durante il controllo.
- Imparare indizi sulla scena futura
Il Physical Dynamics Module di PDRVLA estrae 50 physical tokens da caratteristiche intermedie del modello vision-language. Li apprende usando come obiettivi immagini, profondità e movimento futuri, con la guida aggiuntiva di un modello video congelato durante il pretraining.
L’action expert combina i token con le caratteristiche dello strato finale e con lo stato corrente del robot. Nell’addestramento congiunto della policy continua la previsione diretta del futuro, ma il modello video viene rimosso.
- Il confronto sulle previsioni
Un confronto diretto ha verificato se la guida del modello video migliorasse la previsione rispetto al solo addestramento diretto sulle caratteristiche future. Sulle stesse 828 clip RoboCOIN, provenienti da 100 episodi esclusi dall’addestramento, la media con pesi uguali dell’errore di previsione normalizzato su immagine, profondità e movimento era 0.6354 con la guida aggiuntiva e 0.6439 senza.
Il risultato supporta un miglioramento della previsione in questo confronto di pretraining, non un miglioramento del successo delle azioni.
- Prestazioni in simulazione
Il paper riporta anche il successo delle attività in quattro test simulati: LIBERO per le attività a un braccio, LIBERO-Plus per le stesse attività con variazioni nelle osservazioni e nelle istruzioni, RoboTwin 2.0 per le attività a due mani e SimplerEnv per attività WidowX basate sulla corrispondenza visiva.
PDRVLA ha ottenuto medie elevate rispetto ai metodi pubblicati, ma non ha guidato in ogni attività. Per esempio, in una delle attività SimplerEnv ha ottenuto un punteggio inferiore a un metodo di confronto.
- Che cosa mostrano i risultati
Il confronto sulle previsioni e i test delle attività rispondono a domande diverse: il primo misura l’errore sulle caratteristiche future, gli altri misurano se le attività robotiche riescono. I risultati della policy dipendono dall’adattamento specifico a ciascun benchmark, e i punteggi dei metodi di riferimento provengono dai rispettivi protocolli pubblicati.
Poiché le valutazioni riportate riguardano simulazioni, non stabiliscono le prestazioni con robot reali.
Dettagli
- Autori del paper originale
- Hanqing Wang, Zhaotian Cai, Ruichuan An, Bohan Zeng, Tao Zhang
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive