Los modelos robóticos mejoran cuando sus acciones explican el efecto deseado
En palabras sencillas
Arc es una receta para ayudar a los modelos robóticos preentrenados a decidir qué hacer. Añade explicaciones breves que conectan la escena actual con el cambio que debería producir la siguiente acción, e incluyen qué evitar y cómo saber si se conservó el progreso.
Las explicaciones se generan automáticamente a partir de videos y acciones robóticas ya existentes, y luego se usan para seguir entrenando los modelos. En pruebas sin entrenamiento para esas tareas, los modelos adaptados tuvieron más éxito que sus versiones originales tanto en tareas habituales de manipulación como en tareas centradas en el razonamiento.
La investigación
Los modelos fundacionales de robótica existentes ya actúan a partir de demostraciones, pero esas demostraciones suelen mostrar las acciones sin el razonamiento que las sustenta.
No está claro si un modelo puede controlar mejor un robot con los mismos datos cuando aprende a conectar la escena actual, el efecto deseado y la acción que debería producirlo.
Arc convierte demostraciones robóticas existentes en registros causales vinculados a las acciones y adapta modelos preentrenados para que los usen al controlar el robot, sin entrenamiento específico para las tareas.
Arc añade automáticamente registros causales a demostraciones existentes. Estos anotan el estado relevante, el efecto deseado, la acción, lo que se debe evitar y si se ha completado la tarea.
Después, los modelos preentrenados usan esos registros mientras conservan sus objetivos de predicción originales.
En evaluaciones sin entrenamiento específico para las tareas, Pi_0.5 y Cosmos3-Nano-Policy adaptados superaron a sus respectivas versiones sin modificar en tareas generales de manipulación y en tareas centradas en el razonamiento.
Este resultado en dos modelos respalda el valor de la receta; el control con subtareas explícitas sugiere que una descomposición general por sí sola no basta.
La evidencia se limita a las tareas de simulación descritas y a 28 tareas físicas emparejadas. El control con subtareas explícitas cambia tanto la salida externa como la adaptación de la política.
La explicación de los autores —que una representación del estado y el efecto permite secuenciar acciones y recuperarse— es una interpretación, no una prueba causal.
Análisis
Detalles
- Licencia
- CC BY 4.0