ES
Una puntuación de alineación motriz se relaciona con el éxito en tareas robóticas
Sensorimotor Alignment: A Platonic Proxy for Embodied Policy Success · arXiv:2610.31670
En palabras sencillas
Evaluar un modelo robótico puede llevar tiempo porque hay que dejar que intente realizar tareas. Sensorimotor Alignment (S²) es una puntuación que se calcula sin ejecutar el modelo: compara lo que el modelo ve y lee con los movimientos registrados en demostraciones robóticas.
Entre 12 modelos robóticos entrenados, las puntuaciones más altas se asociaron con mayores tasas de éxito en una prueba simulada de manipulación. La puntuación podría ayudar a comparar modelos antes de ponerlos a prueba, pero estos resultados no muestran que elevarla haga que un robot sea mejor.
La investigación
¿Se puede estimar el rendimiento probable de un modelo robótico antes del lento proceso de dejarlo intentar tareas? Las puntuaciones existentes de comprensión de imágenes y calidad de vídeo no miden directamente si las representaciones de un modelo reflejan los movimientos que necesita un robot.
Sensorimotor Alignment compara los vecindarios de características sensoriales de los modelos robóticos con los vecindarios de movimientos registrados para evaluar su alineación sin ejecutar los modelos.
Los autores compararon S² con el éxito posterior en tareas en varias familias de modelos robóticos.
En SimplerEnv, que evalúa la manipulación robótica simulada e informa la tasa de tareas completadas con éxito, S² se asoció positivamente con el éxito en 12 modelos ajustados mediante entrenamiento adicional. También se relacionó con el éxito posterior de modelos robóticos entrenados a partir de ocho modelos base de visión y lenguaje sin entrenamiento robótico; las puntuaciones agregadas de respuesta visual a preguntas prácticamente no mostraron asociación.
También aparecieron asociaciones en modelos de acción del mundo y políticas evaluadas con robots físicos, aunque el resultado con estos últimos dependió del horizonte de movimiento exploratorio utilizado.
En conjunto, estas observaciones respaldan el uso de S² como medida sin ejecución que puede ayudar a identificar modelos prometedores para evaluarlos más a fondo.
Estos resultados muestran asociaciones entre los modelos evaluados; no demuestran que aumentar S² mejore el éxito de un robot.
En la evaluación con robots físicos, la asociación más marcada apareció solo con un horizonte exploratorio de trayectoria; el horizonte definido de antemano no mostró una asociación positiva estadísticamente significativa.
Qué muestran las pruebas
- Una carencia al evaluar robots
A menudo se evalúa a los modelos robóticos dejándolos realizar tareas en una simulación o en el mundo real, pero esas pruebas pueden ser lentas y presentar variabilidad. El artículo presenta Sensorimotor Alignment (S²), una métrica que no requiere entrenamiento y se calcula sin ejecutar el modelo, para evaluar si sus representaciones de imágenes e instrucciones reflejan los movimientos necesarios para las tareas robóticas.
A diferencia de las puntuaciones de respuesta visual a preguntas o de calidad de vídeo, compara representaciones sensoriales con movimientos registrados.
- Relacionar representaciones y movimientos
S² compara los vecinos más cercanos de cada episodio en dos espacios: uno formado por las características de imagen e instrucciones de un modelo y otro por movimientos robóticos registrados. Los autores evaluaron si este solapamiento se relaciona con el éxito en las tareas.
En SimplerEnv, una prueba simulada de manipulación robótica que mide la tasa de tareas completadas con éxito, una puntuación S² más alta se asoció con mayor éxito entre 12 modelos de visión, lenguaje y acción ajustados mediante entrenamiento adicional.
- Probar otra puntuación sin ejecución
La asociación también apareció en ocho modelos base de visión y lenguaje sin entrenamiento robótico: sus puntuaciones S², medidas antes del entrenamiento robótico, se relacionaron con las tasas de éxito posteriores en SimplerEnv de los modelos entrenados a partir de ellos.
Las puntuaciones agregadas de respuesta visual a preguntas prácticamente no mostraron asociación con esas tasas. Esta comparación sugiere que, para estos modelos, una puntuación relacionada con el movimiento puede ser más informativa que una puntuación general de imagen y lenguaje.
- Qué indica la evidencia
La evidencia en otros entornos fue alentadora, aunque su alcance es limitado. S² se relacionó con el éxito en tareas simuladas entre seis modelos de acción del mundo, y con el éxito de cinco políticas en robots físicos cuando se usó un horizonte exploratorio de movimiento.
Con el horizonte definido de antemano, la asociación en robots físicos fue más débil y no resultó estadísticamente significativa. Los autores también observaron que, en los modelos ajustados, las características de imagen se relacionaban más estrechamente con el éxito que las instrucciones, mientras que una pequeña prueba de congelación vinculó una menor alineación con un menor éxito.
Detalles
- Autores del paper original
- Yunfei Xie, Howard H. Qian, Shiyi Lan, Kaiyu Hang, Chen Wei
- Enviado a arXiv
- Licencia
- arXiv non-exclusive