ES
Entrenar políticas robóticas para actuar tras mover la cámara
Look Before You Act: Bridging Active Perception and Vision-Language-Action Models via Observation-Aligned Data Adaptation · arXiv:2610.23378
En palabras sencillas
Este artículo estudia qué pasa cuando un robot mueve la cámara de su muñeca para ver un objeto antes de recogerlo. La nueva vista también cambia la pose del robot, así que quizá una política entrenada con demostraciones corrientes no sepa cómo continuar.
ActiveAlign entrena políticas robóticas existentes con ejemplos exitosos que empiezan donde termina el movimiento de la cámara. En una prueba de simulación con poses iniciales perturbadas, dos políticas probadas alcanzaron un éxito promedio mayor en 40 tareas después de esta adaptación que con el entrenamiento estándar.
La investigación
Cuando un robot mueve la cámara de su muñeca para mirar alrededor de obstáculos, cambian tanto la vista como la pose del robot. ¿Puede una política de manipulación entrenada con demostraciones corrientes continuar de forma fiable con esa nueva combinación de señales visuales y del estado del robot?
ActiveAlign entrena políticas robóticas de acción existentes con continuaciones exitosas desde los puntos finales del movimiento de cámara, para prepararlas a manipular desde las vistas que encontrarán.
En una prueba de simulación con 40 tareas de manipulación de LIBERO, cada política se enfrentó a poses iniciales perturbadas y se midió su éxito promedio al completar las tareas.
Añadir el movimiento de cámara a políticas con entrenamiento estándar redujo ese promedio; las políticas entrenadas con ActiveAlign alcanzaron el 70.7% con π₀ y el 72.7% con π₀.₅, frente al 30.7% y el 46.3% del entrenamiento estándar.
Como las políticas adaptadas se entrenan con continuaciones exitosas que empiezan en los puntos finales del módulo de cámara, rindieron mejor en el mismo escenario de poses iniciales modificadas.
Esto respalda la idea de que preparar una política de manipulación para la nueva vista y el nuevo estado del robot puede hacer útil el movimiento activo de cámara; la comparación cambia tanto los datos de entrenamiento como el uso del módulo de punto de vista.
Los resultados de LIBERO corresponden a las políticas probadas y al protocolo de simulación con poses iniciales perturbadas. En una evaluación física aparte se probó π₀.₅ en tres tareas de manipulación de manzanas y tres niveles de oclusión, con 90 ensayos en total.
La adaptación fuera de línea requiere que la alineación y la reproducción de la continuación se completen con éxito. El sistema implementado selecciona un punto de vista antes de empezar a manipular.
Qué muestran las pruebas
- Cambian la vista y la pose
ActiveAlign adapta los datos para políticas robóticas existentes que conectan imágenes e instrucciones en lenguaje con acciones. El artículo pregunta si una política entrenada con demostraciones corrientes puede continuar después de que un módulo aprendido mueva la cámara de la muñeca.
Ese movimiento cambia tanto la imagen como la pose del robot, de modo que el relevo presenta una combinación de señales distinta de la que la política encontró al inicio de las demostraciones.
- El relevo sin adaptación falla
En una prueba de simulación con LIBERO, un conjunto de tareas de manipulación robótica, el éxito significa completar la tarea durante una ejecución. Con poses iniciales perturbadas, añadir el movimiento de cámara durante la inferencia hizo bajar el éxito promedio en 40 tareas: del 30.7% al 7.0% para π₀ y del 46.3% al 11.5% para π₀.
₅. Esto muestra que ver mejor no bastó para que las políticas sin adaptar continuaran con más éxito.
- Entrenar para el relevo
ActiveAlign construye ejemplos de entrenamiento a partir de los mismos puntos finales del movimiento de cámara que encontrará la política durante el despliegue. Empareja el punto final con una demostración existente, alinea el robot y conserva la continuación solo si se reproduce con éxito.
En la misma prueba con poses iniciales perturbadas, las políticas adaptadas alcanzaron un éxito promedio del 70.7% con π₀ y del 72.7% con π₀.₅, por encima de las condiciones de entrenamiento estándar.
- Comparar las vistas de cámara
Un control en LIBERO Spatial, con tareas simuladas que implican disposiciones espaciales, ayuda a comprobar si la mejora se debe a demostraciones más cortas. Con π₀.₅, un control de estado emparejado mantuvo fijo el paso de la demostración y la longitud de la continuación, pero usó una vista predeterminada de la cámara; alcanzó un éxito del 54.6%, frente al 78.2% de ActiveAlign.
Las vistas aleatorias y la amplia variación de cámara también obtuvieron puntuaciones menores, lo que respalda que las vistas informativas y ajustadas a las del despliegue tuvieron un papel en este conjunto de tareas.
- Una prueba física acotada
El artículo también probó π₀.₅ con un robot físico en tres tareas de manipulación de manzanas y tres niveles de oclusión. ActiveAlign completó 83 de 90 ensayos, frente a 35 con entrenamiento estándar y 17 al añadir el movimiento de cámara sin entrenamiento alineado.
Esto amplía la evidencia más allá de la simulación, aunque el conjunto limitado de tareas y una sola selección del punto de vista antes de manipular acotan lo que muestran los ensayos.
Detalles
- Autores del paper original
- Jiawei Geng, Zhenyang Liu, Yuzheng Wu, Yongchong Gu, Yanwei Fu
- Enviado a arXiv
- Licencia
- CC BY 4.0