ES
Un modelo robótico aprende cambios de escena sin predecir video
PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations · arXiv:2610.37381
En palabras sencillas
Al manipular objetos, un robot debe tener en cuenta cómo cambia la escena mientras actúa. PDRVLA convierte imágenes de cámaras e instrucciones en comandos para el robot, usando un resumen compacto de la apariencia, la forma y el movimiento futuros previstos.
El modelo aprende ese resumen con ejemplos de escenas futuras y la ayuda de un modelo de video durante el entrenamiento; después actúa sin ejecutar ese modelo de video. En una prueba de predicciones futuras, la ayuda añadida redujo el error promedio. Por separado, se hicieron pruebas de tareas robóticas en simulación.
La investigación
Cuando un robot mueve un objeto, cambian la escena y las relaciones espaciales entre sus elementos. ¿Cómo puede usar información sobre esos cambios para elegir acciones sin añadir la demora de generar video futuro dentro de su ciclo de control?
PDRVLA aprende durante el entrenamiento pistas sobre escenas futuras y las combina con información visual actual y el estado del robot para generar acciones sin generar video en línea.
El Physical Dynamics Module de PDRVLA aprende pistas compactas sobre la apariencia, la geometría y el movimiento futuros de una escena.
Durante el entrenamiento, un modelo de video congelado aporta orientación auxiliar; después, el experto de acción del robot usa los tokens aprendidos sin ejecutar ese modelo de video durante el control.
En una comparación con datos reservados, la ejecución asistida tuvo un error de predicción menor, con igual ponderación para imagen, profundidad y movimiento, que el entrenamiento solo directo.
Por separado, PDRVLA reportó promedios altos de éxito en tareas en cuatro pruebas de simulación, aunque hubo una excepción a nivel de tarea.
La comparación de predicciones mide el error en características futuras, no el éxito de las acciones, y no establece que la supervisión añadida haya causado un mayor éxito en las pruebas de simulación. Las evaluaciones de la política abarcan cuatro entornos de simulación; no establecen el rendimiento con robots reales.
Qué muestran las pruebas
- De las escenas a las acciones
Un modelo para manipular objetos debe relacionar lo que ve ahora con los posibles cambios en los objetos y sus relaciones espaciales al agarrarlos, moverlos y colocarlos. Predecir video futuro puede aportar esa información, pero ejecutar la generación de video dentro del ciclo de control añade demora.
PDRVLA es un modelo de visión, lenguaje y acción diseñado para usar información aprendida sobre escenas futuras al generar comandos para el robot, sin ejecutar el modelo de video durante el control.
- Aprender pistas de escenas futuras
El Physical Dynamics Module de PDRVLA extrae 50 tokens físicos de características intermedias de visión y lenguaje. Aprende esos tokens a partir de objetivos de imagen, profundidad y movimiento futuros, con orientación adicional de un modelo de video congelado durante el preentrenamiento.
El experto de acción combina los tokens con las características de la capa final y el estado actual del robot. En el entrenamiento conjunto de la política continúa la predicción directa del futuro, pero se retira el modelo de video.
- Comparación de predicciones
Una comparación directa evaluó si la orientación del modelo de video mejoraba la predicción más allá del entrenamiento directo con características futuras. En los mismos 828 clips de RoboCOIN de 100 episodios excluidos del entrenamiento, el error de predicción normalizado medio, con igual ponderación para imagen, profundidad y movimiento, fue de 0,6354 con la orientación añadida y de 0,6439 sin ella.
El resultado respalda una mejora de la predicción en esa comparación de preentrenamiento, pero no una mejora en el éxito de las acciones.
- Rendimiento en simulación
El artículo también informa el éxito en tareas de cuatro pruebas de simulación: LIBERO para tareas con un solo brazo, LIBERO-Plus para esas tareas con cambios en las observaciones y las instrucciones, RoboTwin 2.0 para tareas con dos manos y SimplerEnv para tareas de correspondencia visual con WidowX.
PDRVLA obtuvo promedios reportados altos frente a métodos publicados, pero no lideró en todas las tareas. Por ejemplo, quedó por debajo de un comparador en una tarea de SimplerEnv.
- Qué respaldan las pruebas
La comparación de predicciones y las pruebas de tareas responden a preguntas distintas: una mide el error en características futuras y las otras miden si las tareas robóticas tienen éxito. Los resultados de la política usan adaptaciones específicas de cada benchmark, y las puntuaciones de referencia proceden de sus propios protocolos publicados.
Como las evaluaciones reportadas de la política son simulaciones, no establecen el rendimiento con robots reales.
Detalles
- Autores del paper original
- Hanqing Wang, Zhaotian Cai, Ruichuan An, Bohan Zeng, Tao Zhang
- Enviado a arXiv
- Licencia
- arXiv non-exclusive