ES
Los robots aprenden a razonar sobre el movimiento con videos
ThinkWorld: World Imagination Reinforces Chain-of-Dynamics Reasoning · arXiv:2610.37666
En palabras sencillas
ThinkWorld es un método de aprendizaje para robots que usa un conjunto compartido de tokens de movimiento para representar tanto los movimientos de los videos humanos como los de las demostraciones robóticas. Predice cómo se verá la escena después de un movimiento y aprende comparando esa predicción con lo que muestra el video.
En LIBERO-PRO, una prueba de manipulación robótica que cambia los objetos, las posiciones, las instrucciones, los objetivos y los entornos, informó un éxito promedio de 55.6% después de entrenarse con LIBERO estándar, sin incluir esos cambios. El resultado describe esa configuración de prueba, no todas las tareas robóticas.
La investigación
Las demostraciones robóticas indican a un robot qué acciones realizar, pero cubren menos comportamientos que los videos humanos, que no muestran acciones robóticas ejecutables.
Aún no está claro si esos videos pueden mejorar el razonamiento de movimiento del robot y mantenerlo vinculado a los cambios que las acciones producen en el mundo.
ThinkWorld representa de forma compartida el movimiento humano y robótico mediante tokens y entrena el razonamiento para favorecer futuros imaginados que coincidan con los videos.
LIBERO-PRO evalúa la manipulación robótica ante cambios controlados en los objetos, sus posiciones, las instrucciones, los objetivos y los entornos; su puntuación es el éxito promedio en los distintos ejes de la prueba. ThinkWorld-LIBERO recibió entrenamiento adicional con LIBERO estándar y luego se evaluó sin exponerse a esos cambios; informó un éxito promedio de 55.6%.
El resultado muestra el rendimiento ante los cambios probados en esta configuración de entrenamiento.
En un estudio de preentrenamiento aparte, el éxito en LIBERO-PRO aumentó al crecer la proporción de videos humanos mientras se mantenía fija la cantidad de datos robóticos.
Un control que solo usó datos robóticos y se ajustó para igualar la escala ayuda a distinguir este resultado de las mejoras atribuibles únicamente a la escala de entrenamiento.
Los resultados de entrenamiento informados usan una sola semilla de entrenamiento, por lo que los intervalos de confianza calculados por episodio no muestran cuánto varían los resultados entre modelos entrenados de forma independiente.
Los estudios comparativos con videos humanos también usan configuraciones distintas de las del modelo final.
Qué muestran las pruebas
- Conectar dos tipos de experiencia
ThinkWorld es un marco de aprendizaje de visión, lenguaje y acción para controlar robots. Aborda el problema de que las demostraciones robóticas muestran acciones ejecutables, pero cubren una variedad limitada de comportamientos, mientras que los videos humanos ofrecen más experiencias sin mostrar acciones robóticas.
Además, el movimiento inferido de un video puede reflejar cambios de cámara o de apariencia en vez de movimientos que se puedan controlar. El marco busca conectar la experiencia más amplia de los videos con un razonamiento sobre acciones basado en el movimiento.
- Representar el movimiento de forma compartida
El marco representa el movimiento previsto de personas y robots mediante una secuencia compartida de tokens discretos llamada Chain-of-Dynamics, o CoD. Aprende esta representación a partir de demostraciones de robots y movimientos de manos humanas anotados.
Los tokens de CoD no son órdenes ejecutables para el robot: un experto en acciones separado predice las acciones del robot. La representación compartida da al modelo una forma común de razonar sobre el movimiento en ambas fuentes.
- Aprender de los resultados observados
ThinkWorld también aprende de lo que los videos muestran que ocurre después de un movimiento. Genera secuencias alternativas de CoD, predice las características visuales futuras de cada una y recompensa las opciones cuyas predicciones coinciden mejor con el futuro observado.
Como el video muestra esa transición aunque no tenga etiquetas de acciones, la señal de entrenamiento puede aprovechar videos de personas y robots sin ejecutar los movimientos propuestos.
- Medir el rendimiento ante cambios
LIBERO-PRO evalúa la manipulación robótica ante cambios en objetos, posiciones, instrucciones, objetivos y entornos, e informa el éxito promedio en los distintos ejes de la prueba. ThinkWorld-LIBERO recibió entrenamiento adicional con LIBERO estándar y luego se evaluó sin exponerse a esos cambios; informó un éxito promedio de 55.6%.
Esto respalda la transferencia a los cambios de esa prueba, pero no permite afirmar que el resultado se extienda a todas las tareas nuevas.
- Examinar el papel de los videos humanos
En un estudio de preentrenamiento aparte, se mantuvo fija la cantidad de datos robóticos mientras aumentaba la proporción de videos humanos. Todas las variantes recibieron entrenamiento adicional con LIBERO estándar antes de la evaluación. La variante con un 50% de videos humanos obtuvo una puntuación aproximadamente 1.2 puntos porcentuales mayor que un control que solo usó datos robóticos y se ajustó para igualar la escala y las iteraciones de entrenamiento.
El estudio también informa ejecuciones cualitativas en las que los robots combinaron las secuencias completas mostradas en videos humanos, aunque las demostraciones robóticas solo cubrían habilidades individuales.
Detalles
- Autores del paper original
- Chaehyun Kim, Chi-Pin Huang, Jisoo Kim, Min-Hung Chen, Yu-Chiang Frank Wang
- Enviado a arXiv
- Licencia
- CC BY 4.0