Un unico modello appreso aiuta i controller umanoidi a scalare su molti movimenti

Quando cresce la raccolta di movimenti per un umanoide, l’addestramento può diventare più costoso perché i metodi senza modello ripetono le esecuzioni nel simulatore per stimare l’effetto delle azioni.

Un unico controller può riutilizzare la dinamica condivisa tra i movimenti e ridurre questo carico di addestramento?

SuperMimic apprende la dinamica condivisa di un umanoide dai dati del simulatore e usa imagined rollout e gradienti per addestrare un unico controller su molti movimenti.

SuperMimic alterna la raccolta di transizioni nel simulatore, l’adattamento di un unico modello differenziabile e il miglioramento del controller tramite brevi imagined rollout.

In un test condiviso di tracciamento su 129,514 movimenti di addestramento BONES-SEED filtrati, il suo ritorno normalizzato — la somma delle ricompense dell’intero episodio divisa per il valore massimo possibile — ha superato il punteggio del checkpoint pubblicato di SONIC entro tre ore con una GPU H100.

Il paper riporta che SuperMimic ha impiegato oltre 1,000 volte meno ore-GPU rispetto all’addestramento riportato per SONIC, suggerendo che in questo confronto il metodo può ridurre il costo di calcolo.

Il confronto con SONIC non isola il metodo di addestramento: hardware e quantità di dati usati per l’addestramento erano diversi, e il picco di utilizzo delle GPU è sconosciuto.

Il test dei movimenti usa movimenti inclusi nell’addestramento, quindi misura la copertura di quei movimenti, non le prestazioni su movimenti mai visti.