IT
Un punteggio di allineamento ai movimenti segue il successo dei modelli robotici
Sensorimotor Alignment: A Platonic Proxy for Embodied Policy Success · arXiv:2610.31670
In parole semplici
Valutare un modello robotico facendogli provare dei compiti può richiedere tempo. Sensorimotor Alignment (S²) è un punteggio offline che confronta ciò che un modello vede e legge con i movimenti registrati nelle dimostrazioni dei robot.
Tra 12 modelli robotici addestrati, punteggi più alti erano associati a tassi di successo maggiori in un test simulato di manipolazione. Il punteggio potrebbe aiutare a confrontare i modelli prima di metterli alla prova, ma questi risultati non dimostrano che aumentarlo renda migliore un robot.
La ricerca
È possibile stimare il probabile successo di un modello robotico prima del processo lento di fargli provare i compiti? I punteggi esistenti di comprensione delle immagini e qualità dei video non misurano direttamente se le rappresentazioni di un modello riflettano i movimenti necessari a un robot.
Sensorimotor Alignment confronta offline i vicini delle caratteristiche sensoriali dei modelli robotici con quelli dei movimenti registrati per valutarne l’allineamento.
Gli autori hanno confrontato S² con il successo nei compiti in diverse famiglie di modelli robotici. In SimplerEnv, che valuta la manipolazione robotica simulata e riporta la quota di compiti completati con successo, S² era associato positivamente al successo tra 12 modelli sottoposti a fine-tuning.
Era inoltre associato al successivo successo dei modelli robotici addestrati a partire da otto modelli di base vision-language non addestrati per compiti robotici; i punteggi aggregati di visual question answering mostravano un’associazione pressoché nulla.
Sono emerse associazioni anche per i world action model e le policy valutate con robot fisici, sebbene il risultato sul robot fisico dipendesse dall’uso di un orizzonte di movimento esplorativo.
Nel complesso, queste osservazioni sostengono l’uso di S² come misura offline che può aiutare a individuare modelli promettenti da sottoporre a ulteriori test.
Questi risultati mostrano associazioni tra i modelli testati, ma non dimostrano che aumentare S² migliori il successo di un robot.
Nella valutazione con robot fisico, l’associazione più forte è emersa solo con un orizzonte di traiettoria esplorativo; con l’orizzonte prestabilito non è stata osservata un’associazione positiva statisticamente significativa.
Cosa mostrano le prove
- Una lacuna nella valutazione dei robot
I modelli robotici vengono spesso valutati facendogli svolgere compiti in simulazione o nel mondo reale, ma questi test possono essere lenti e soggetti a variabilità. Il paper introduce Sensorimotor Alignment (S²), una metrica offline che non richiede addestramento, per verificare se le rappresentazioni di immagini e istruzioni di un modello riflettano i movimenti necessari ai compiti robotici.
A differenza dei punteggi di visual question answering o di qualità dei video, la metrica confronta le rappresentazioni sensoriali con i movimenti registrati.
- Allineare le rappresentazioni ai movimenti
S² confronta i vicini più prossimi di ogni episodio in due spazi: uno costruito dalle caratteristiche di immagini e istruzioni di un modello, l’altro dai movimenti registrati dei robot. Gli autori hanno verificato se la sovrapposizione tra i vicini fosse associata al successo nei compiti.
In SimplerEnv, un test simulato di manipolazione robotica che misura la quota di compiti completati con successo, S² più alto era associato a un successo maggiore tra 12 modelli vision-language-action sottoposti a fine-tuning.
- Confrontare un altro punteggio offline
L’associazione è emersa anche per otto modelli di base vision-language non ancora addestrati per compiti robotici: i loro punteggi S², misurati prima dell’addestramento robotico, erano associati ai successivi tassi di successo in SimplerEnv dei modelli robotici addestrati a partire da essi.
I punteggi aggregati di visual question answering mostravano un’associazione pressoché nulla con quei tassi di successo. Il confronto suggerisce che, per questi modelli, un punteggio legato al movimento possa essere più informativo di un punteggio generale basato su immagini e linguaggio.
- Cosa indicano le evidenze
Le evidenze in altri contesti erano incoraggianti, ma con alcune precisazioni. S² era associato al successo nei compiti simulati per sei world action model e al successo di cinque policy con un robot fisico quando si usava un orizzonte esplorativo.
Con l’orizzonte prestabilito, l’associazione sul robot fisico era più debole e non statisticamente significativa. Gli autori hanno inoltre osservato che, nei modelli sottoposti a fine-tuning, le caratteristiche delle immagini seguivano il successo più da vicino di quelle delle istruzioni; un piccolo controllo sul congelamento ha associato un allineamento inferiore a un successo inferiore.
Dettagli
- Autori del paper originale
- Yunfei Xie, Howard H. Qian, Shiyi Lan, Kaiyu Hang, Chen Wei
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive