Un modèle appris aide les contrôleurs humanoïdes à gérer davantage de mouvements

À mesure qu’une bibliothèque de mouvements humanoïdes s’agrandit, l’entraînement peut coûter plus cher, car les méthodes sans modèle multiplient les essais dans le simulateur pour estimer l’effet des actions.

Un même contrôleur peut-il réutiliser la dynamique commune à plusieurs mouvements et réduire cette charge d’entraînement ?

SuperMimic apprend la dynamique humanoïde partagée à partir de données du simulateur, puis utilise des déroulements imaginés et des gradients pour entraîner un même contrôleur sur de nombreux mouvements.

SuperMimic alterne entre la collecte de transitions dans le simulateur, l’ajustement d’un modèle différentiable unique à ces transitions et l’amélioration du contrôleur à l’aide de courts déroulements imaginés. Lors d’un test commun de suivi portant sur 129,514 mouvements d’entraînement BONES-SEED filtrés, son retour normalisé — la somme des récompenses sur un épisode complet, divisée par sa valeur maximale possible — a dépassé le score du point de contrôle publié de SONIC en trois heures au plus sur un H100.

Selon l’article, SuperMimic a eu besoin de plus de 1,000 fois moins d’heures-GPU que l’entraînement rapporté de SONIC, ce qui suggère que cette approche peut réduire le calcul dans cette comparaison.

La comparaison avec SONIC ne permet pas d’isoler la méthode d’entraînement : le matériel et les volumes de données d’entraînement différaient, et l’utilisation maximale des GPU est inconnue.

Le test des mouvements porte sur des mouvements d’entraînement ; il mesure donc la couverture de ces mouvements, pas les performances sur des mouvements jamais vus.