ES
Un modelo de video puede guiar acciones robóticas sin generar video
En palabras sencillas
TAPESTRY es un método de control robótico que reutiliza un modelo entrenado para generar video. Convierte cada paso de acción del robot en una pieza parecida a un bloque de imagen que el modelo de video ya sabe procesar, y luego entrena el mismo modelo con videos y demostraciones robóticas.
Cuando se usa, recibe una imagen de cámara y un objetivo expresado en lenguaje, y produce directamente una secuencia breve de acciones, sin generar video. En cuatro grupos de tareas simuladas cuyas muestras de evaluación tenían video, pero no etiquetas de acciones, su éxito medio fue del 76 %, frente al 70 % de cada uno de dos métodos basados en video.
La investigación
Los modelos de video pueden aprender patrones visuales de interacción física, pero un controlador robótico que genera video futuro durante el control paga el costo de crear imágenes que no necesita mostrar.
¿Puede un robot usar directamente esa dinámica visual preentrenada para elegir sus próximas acciones?
TAPESTRY comparte un modelo de video preentrenado entre el entrenamiento con video y acciones, para convertir una imagen de cámara y un objetivo en lenguaje en bloques de acciones sin generar video.
En LIBERO, una prueba en simulación de finalización de tareas robóticas, un conjunto tenía etiquetas de acciones y cuatro conjuntos de evaluación solo tenían video. TAPESTRY promedió un 76 % de ejecuciones completadas en esos conjuntos, frente al 70 % de Cosmos Policy y DreamZero.
Esto respalda la generación de acciones a partir de un modelo preentrenado con video en este contexto, aunque la comparación no permite aislar qué decisiones de diseño explican la diferencia.
Los cuatro conjuntos de evaluación tenían videos, pero no etiquetas de acciones, por lo que estas tasas no se pueden comparar directamente con las puntuaciones estándar de LIBERO con supervisión completa.
TAPESTRY y los métodos de comparación también diferían en arquitectura, objetivos de entrenamiento, duración y procedimiento de inferencia; por tanto, la diferencia de puntuación no permite identificar qué decisión de diseño la explica.
Qué muestran las pruebas
- Una base compartida para video y acciones
TAPESTRY, sigla de Tokenizing Actions as Video Patches in a Shared Transformer Policy, es un método de control robótico. Aborda un compromiso de transferencia: generar video previsto durante el control es costoso, mientras que un módulo de acciones independiente entrenado desde cero no puede aprovechar directamente los pesos del modelo de video preentrenado. TAPESTRY procesa las acciones del robot con ese modelo.
- De las acciones a los tokens
Cada paso de acción del robot se proyecta y normaliza como una unidad del tamaño de un bloque, y luego pasa por la misma capa que divide el video en bloques y por el mismo transformador. El entrenamiento comparte esa base entre la eliminación de ruido de video, la eliminación conjunta del ruido de video y acciones en demostraciones, y la eliminación del ruido de acciones por sí solas, condicionada por la imagen limpia de la cámara y el objetivo en lenguaje. Durante el uso, solo se generan tokens de acción, en un único paso a partir del ruido.
- Puntuaciones en tareas con solo video
LIBERO es una prueba en simulación que evalúa si se completan tareas de manipulación robótica. Solo LIBERO-90 tenía etiquetas de acciones; otros cuatro conjuntos proporcionaban video, pero no etiquetas de acciones.
La evaluación de ejecuciones del artículo informa una tasa media de éxito en las tareas del 76 % para TAPESTRY y del 70 % para Cosmos Policy y DreamZero, con 100 intentos por conjunto. El artículo no especifica quién evaluó si se completaron las tareas.
- Análisis de las acciones irregulares
Para explicar las salidas de acciones irregulares, los autores midieron la irregularidad en distintos niveles de ruido sobre 50 bloques de acciones reservados. Las entradas se construyeron añadiendo ruido a acciones verdaderas, por lo que se mantuvieron dentro de la distribución de entrenamiento.
La irregularidad media subió de 0.92 a 1.71 veces la banda de irregularidad de las acciones verdaderas a medida que disminuía el ruido. En otra comparación de señales de los mismos episodios, f95 fue de 0.352 Hz para las acciones y de 1.992 Hz para los píxeles de video. Los autores interpretan esta diferencia de frecuencia como una fuente de irregularidad.
- Pruebas con un robot real
En un robot YAM bimanual real, TAPESTRY completó 28 de 30 intentos en tres tareas de entrenamiento, frente a 15 de 30 para un método entrenado desde cero. En tres condiciones modificadas, con nuevas ubicaciones, movimientos o combinaciones de objetos, completó 10 de 15 tareas enteras, frente a 4 de 15 de DreamZero.
El margen general que los autores informan por separado frente a DreamZero no fue estadísticamente significativo (27±11 %, p=0.07); cada condición tuvo solo cinco intentos. En la condición de combinación de objetos, TAPESTRY completó los cinco intentos, mientras que los otros métodos no completaron ninguno.
- Menor tiempo de inferencia
La prueba de tiempo comparó la generación de bloques de acciones en la misma GPU RTX 5090.
El modelo 2B de TAPESTRY produjo un bloque de 16 acciones en 84 milisegundos; DreamZero 5B tardó 3.7 segundos tras añadir almacenamiento en caché y checkpointing de activaciones. El artículo informa una diferencia de tiempo de aproximadamente 44 veces, pero los modelos y los procedimientos de inferencia difieren, así que el resultado no aísla una sola decisión de diseño.
Detalles
- Autores del paper original
- Jeremy A. Collins, Seungjae Lee, Rachanon Wachakorn, Krishnan Srinivasan, Animesh Garg
- Enviado a arXiv
- Licencia
- arXiv non-exclusive