L’esercizio in giochi sintetici migliora il successo in Minecraft
In parole semplici
Le dimostrazioni di gioco mostrano a un modello come giocare, ma non possono coprire tutte le situazioni che potrebbe incontrare. Player-1 addestra prima i modelli per l’uso del computer su partite registrate, poi li fa esercitare in giochi sintetici, dove le variazioni del punteggio forniscono riscontri verificabili.
Su 300 attività di Minecraft, il modello 9B di Player-1 ha avuto un tasso medio di successo più alto dopo l’addestramento interattivo che dopo il solo apprendimento dalle dimostrazioni. Il risultato riguarda quel modello e quell’insieme di attività: non copre tutti i giochi.
La ricerca
Le dimostrazioni di gioco coprono solo alcune delle situazioni che un modello potrebbe incontrare, mentre è difficile ottenere ambienti scalabili per l’interazione.
La ricerca chiede se l’esercizio in giochi sintetici possa migliorare il controllo rispetto all’apprendimento dagli esempi e se i miglioramenti si trasferiscano a giochi esterni agli ambienti di addestramento.
Player-1 addestra modelli per l’uso del computer su esempi di gioco, poi usa ricompense verificabili in giochi sintetici per migliorarne il controllo.
Player-1 esamina se l’esercizio in giochi sintetici possa migliorare il controllo rispetto alle dimostrazioni di gioco.
Addestra modelli per l’uso del computer su esempi selezionati, poi li fa imparare attraverso l’interazione in ambienti sintetici, con ricompense calcolate dalle variazioni del punteggio di gioco.
Su 300 attività di Minecraft, il tasso medio di successo del modello 9B è stato del 38.33% dopo l’addestramento interattivo, contro il 10.54% dopo il solo apprendimento dalle dimostrazioni.
Il successo è stato mediato su otto prove per ciascuna attività, poi con lo stesso peso per ogni attività: il confronto sostiene un miglioramento su questo insieme.
I risultati riguardano specifici insiemi di valutazione e budget di prove: 300 attività di Minecraft, 10 mappe di giochi in prima persona e 170 attività di giochi browser distribuite su 34 giochi.
Mostrano miglioramenti per i modelli testati su questi insiemi, non prestazioni valide per tutti i giochi o tutte le attività.
Analisi
Dettagli
- Autori del paper originale
- Mingyu Ouyang, Yiran Wang, Siyuan Hu, Xingyilang Yin, Huiqiang Sun
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive