Un modelo aprendido ayuda a escalar el control humanoide a muchos movimientos
En palabras sencillas
Entrenar el controlador de un robot humanoide para que siga muchos movimientos distintos puede requerir muchas ejecuciones del simulador. SuperMimic aprende un modelo de cómo se mueve el cuerpo simulado y luego usa ese modelo para probar secuencias cortas y mejorar un mismo controlador para muchos movimientos.
En las pruebas del artículo, alcanzó la puntuación de seguimiento de un controlador publicado usando muchas menos horas de GPU. La comparación empleó hardware y cantidades de datos de entrenamiento diferentes, y los movimientos de prueba formaban parte del entrenamiento.
La investigación
A medida que crece una biblioteca de movimientos humanoides, el entrenamiento puede volverse más costoso porque los métodos sin modelo repiten ejecuciones del simulador para estimar qué efecto tendrán las acciones.
¿Puede un solo controlador reutilizar la dinámica compartida entre movimientos y reducir esa carga de entrenamiento?
SuperMimic aprende la dinámica humanoide compartida a partir de datos del simulador y luego usa trayectorias imaginadas y gradientes para entrenar un controlador para muchos movimientos.
SuperMimic alterna entre recopilar transiciones del simulador, ajustar un único modelo diferenciable a esas transiciones y mejorar el controlador mediante trayectorias imaginadas breves.
En una prueba compartida de seguimiento con 129.514 movimientos de entrenamiento de BONES-SEED filtrados, su retorno normalizado —la suma de recompensas de todo el episodio dividida por el valor máximo posible— superó la puntuación del checkpoint publicado de SONIC en un máximo de tres horas con una H100.
El artículo informa que esto requirió más de 1.000 veces menos horas de GPU que el entrenamiento publicado de SONIC, lo que sugiere que el enfoque puede reducir el cómputo en esta comparación.
La comparación con SONIC no permite aislar el método de entrenamiento: diferían el hardware y el volumen de datos de entrenamiento, y se desconoce el uso máximo de GPU.
La prueba de movimiento usa movimientos de entrenamiento, así que mide la cobertura de esos movimientos, no el rendimiento en movimientos no vistos.
Análisis
Detalles
- Autores del paper original
- Qiayuan Liao, Yiyang Shao, Junfeng Long, Kevin Zakka, Roberto Horowitz
- Enviado a arXiv
- Licencia
- arXiv non-exclusive