IT
Le policy robotiche possono imparare dal futuro senza generare immagini (F1, F3)
Vision-Language-Action or World-Action? Just Action Models · arXiv:2610.37219
In parole semplici
Le policy robotiche imparano a muoversi in base a ciò che vedono le telecamere. Alcuni metodi di addestramento cercano anche di generare ciò che la telecamera vedrà dopo, ma non è chiaro se questo passaggio di generazione delle immagini serva davvero per imparare dal futuro.
JAM addestra una policy robotica a prevedere le azioni e le caratteristiche di osservazioni future già registrate. Prima del deployment, rimuove i componenti usati per prevedere il futuro.
In un test simulato con compiti modificati, JAM ha avuto più successi di una policy confrontabile addestrata a generare immagini future.
La ricerca
Quando le policy robotiche imparano dall’esperienza registrata, devono generare immagini di ciò che accadrà, oppure le osservazioni future possono essere utili attraverso un altro segnale di addestramento?
Gli approcci esistenti combinano questa scelta con altre differenze, rendendo difficile interpretare i loro tassi di successo.
JAM addestra le policy robotiche a prevedere le caratteristiche di osservazioni future registrate insieme alle azioni, sostituendo la generazione di immagini future e rimuovendo quel ramo per il deployment.
Per imparare ciò che un robot incontrerà in seguito, l’addestramento deve generare immagini future?
Just Action Model (JAM) affronta la domanda insegnando a una policy robotica a prevedere le caratteristiche di osservazioni future registrate insieme alle azioni, senza inserire quelle osservazioni nel percorso che produce le azioni.
Su un insieme fisso di compiti robotici simulati e perturbati, JAM ha avuto successo nel 79.95% dei casi, contro il 65.27% di una policy confrontabile addestrata a generare immagini future.
Architettura e condizioni di addestramento condivise forniscono evidenza a sostegno della conclusione che, in questo confronto, generare immagini future non fosse necessario per ottenere il tasso di successo più alto.
Questi risultati provengono da compiti robotici simulati e da specifici protocolli di valutazione. Non stabiliscono come si comporti JAM sui robot fisici.
Cosa mostrano le prove
- Separare le scelte di progetto
Le policy robotiche possono imparare dalle sole azioni oppure imparare anche a generare immagini future riprese dalle telecamere. Poiché questi approcci possono differire per rete di base preaddestrata, obiettivo basato sulle osservazioni future e componenti usati in fase di deployment, una differenza nei tassi di successo non mostra da sola quale scelta faccia la differenza.
Il paper chiede se le policy possano imparare dai dati registrati sul futuro senza un obiettivo di generazione visiva.
- Addestrare sulle osservazioni future registrate
Just Action Model (JAM) è una ricetta di addestramento per il controllo dei robot. Abbina una rete visiva di base a un esperto di azioni e li addestra con supervisione sulle azioni più un compito di previsione: le caratteristiche delle osservazioni attuali vengono usate per prevedere quelle delle osservazioni future registrate.
Un riferimento futuro congelato fornisce le caratteristiche obiettivo. Dopo l’addestramento, il riferimento e la testa di previsione vengono rimossi; per il deployment resta il percorso che produce le azioni.
- Confrontare gli obiettivi sul futuro
Il test principale confronta policy Ovis-U1 su LIBERO-Plus, una raccolta simulata di compiti di manipolazione robotica con perturbazioni, in cui il successo significa completare un compito. Le policy condividono architettura, dati di addestramento, optimizer, budget e percorso di deployment; JAM sostituisce la generazione di immagini future con la previsione delle caratteristiche future.
Nel sottoinsieme fisso di 1,506 compiti, con un singolo tentativo per compito, JAM ha successo nel 79.95% dei casi, contro il 65.27% della policy che genera immagini.
- Verificare l’addestramento sulle sole azioni
Un controllo separato con Qwen3.5-2B confronta l’addestramento sulle sole azioni con quello di JAM, che combina azioni e previsione del futuro. Il tasso medio complessivo di successo sui compiti LIBERO-Plus sale dal 77.03% all’81.14%, ma l’addestramento sulle sole azioni va meglio con perturbazioni dello stato del robot e del linguaggio.
La fonte non specifica se le due condizioni partissero dallo stesso checkpoint, il che limita ciò che questo controllo permette di isolare.
- Applicare la ricetta a famiglie diverse
JAM viene valutato anche con reti di base generative, auto-supervisionate e di visione-linguaggio. Sullo stesso sottoinsieme di LIBERO-Plus, i tassi di successo riportati per Ovis-U1, DINOv2-L e Qwen3.5-2B sono 79.95%, 70.39% e 81.14%.
Questo mostra che la ricetta è stata usata con famiglie diverse, ma le differenze di architettura e interfaccia delle azioni impediscono di isolare l’effetto del preaddestramento confrontando i punteggi.
Dettagli
- Autori del paper originale
- Yonghao Yu, Lang Huang, Runyi Li, Toshihiko Yamasaki
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive