IT
NgramRL riutilizza le risposte di addestramento per accelerare i rollout nel reinforcement learning
NgramRL: Accelerating RL Post-Training for Structured Generation via Rollout-Aware N-gram Speculative Decoding · arXiv:2610.32881
In parole semplici
Durante l’addestramento con reinforcement learning, un modello risponde più volte agli stessi prompt prima di essere aggiornato. NgramRL usa le risposte recenti a ciascun prompt per suggerire parti di una nuova risposta, che il modello corrente controlla.
Nei test su due famiglie di modelli e tre carichi di lavoro, nell’ultimo 30% dell’addestramento, quando la cache si era popolata, NgramRL manteneva più token per controllo del modello rispetto ad altri metodi di preparazione delle bozze. I risultati sono medie delle combinazioni esaminate, non garanzie per ogni sessione.
La ricerca
Nel post-addestramento con reinforcement learning, il modello deve generare molte risposte prima di poter essere aggiornato, e questa fase dei rollout può occupare oltre il 70% di un passo di addestramento.
Come accelerare la generazione quando un altro modello usato per le bozze compete per la memoria GPU e può diventare obsoleto man mano che cambia il modello in addestramento?
NgramRL riutilizza le risposte recenti a ciascun prompt come bozze e le fa controllare dal modello corrente per accelerare i rollout nell’addestramento con reinforcement learning.
NgramRL conserva gli output recenti separatamente per ciascun prompt e propone continuazioni corrispondenti mentre il modello corrente le controlla.
I ricercatori lo hanno confrontato con tre metodi di preparazione delle bozze senza un modello aggiuntivo, in sessioni GRPO identiche e con lo stesso budget di bozza di 16.
Su due famiglie di modelli e tre carichi di lavoro, nell’ultimo 30% dell’addestramento la media ha raggiunto da 3,60 a 7,77 token mantenuti per passaggio in avanti del modello.
Questa misura conta i token conservati per ogni passaggio del modello principale; i risultati sostengono che, in queste sessioni, la ripetizione degli stessi prompt può rendere più efficiente la generazione dei rollout.
L’accelerazione di 1,38x nella generazione delle risposte è stata misurata con Qwen3-8B su Spider, usando una GPU RTX PRO 6000 e un host Threadripper a 32 core. Non dimostra che si ottenga lo stesso guadagno in tempo reale con altri carichi di lavoro o hardware.
La valutazione più ampia dell’addestramento ha riguardato due famiglie di modelli e tre carichi di lavoro.
Cosa mostrano le prove
- Una fase di generazione costosa
NgramRL accelera i rollout nel post-addestramento con reinforcement learning: i rollout sono le generazioni di risposte che precedono gli aggiornamenti del modello. La domanda è come ridurre il tempo necessario a generare quelle risposte, quando un modello separato per le bozze compete per la memoria GPU e può diventare obsoleto man mano che l’addestramento modifica il modello.
Secondo il paper, la generazione dei rollout può superare il 70% di un passo di addestramento, quindi è una parte sostanziale del processo.
- Le risposte precedenti si sovrappongono
Il sistema sfrutta la ripetizione dei prompt tra le epoche di addestramento. Gli autori hanno confrontato le risposte allo stesso prompt in epoche consecutive e hanno osservato che una risposta precedente copriva il 48–96% di quella successiva, con sequenze ricorrenti da 7 a 23 token.
Questi intervalli indicano che le risposte precedenti possono fornire testo per le bozze, ma non dicono quanto si sovrapporranno le risposte di ogni singolo prompt.
- Le bozze vengono controllate
NgramRL conserva le risposte recenti in una cache separata per ogni prompt e propone continuazioni a partire dal testo corrispondente. Il modello corrente controlla le proposte e, se ne rifiuta una, una correzione fa sì che i token mantenuti seguano la distribuzione di probabilità del modello.
La cache può suggerire testo senza modificare la distribuzione dei token del modello; questa garanzia riguarda il campionamento, non l’accuratezza misurata sulle attività o la convergenza dell’addestramento.
- Più token per passaggio del modello
I ricercatori hanno confrontato NgramRL con tre altri metodi di preparazione delle bozze senza un modello aggiuntivo, usando le stesse impostazioni GRPO, sessioni di addestramento identiche e un budget di bozza di 16. Hanno misurato i token mantenuti per ogni passaggio in avanti del modello principale.
Nell’ultimo 30% dell’addestramento, la media andava da 3,60 a 7,77 nelle combinazioni di due famiglie di modelli e tre carichi di lavoro. Il massimo del confronto limitato all’ultimo 30% è stato 7,0 volte quello della decodifica prompt-lookup per Qwen3-8B su Spider.
L’abstract riporta separatamente un massimo complessivo di 1,99 volte SuffixDecoding, con un ambito diverso da quello della tabella sull’ultimo 30%.
- Il prefetch riduce l’attesa
Il sistema prepara anche le probabili bozze successive mentre il modello controlla quelle correnti. Nella profilazione di Qwen3-8B su Spider con 16 candidati, il prefetch ha coperto il 96,6% degli esiti di controllo effettivi e ha raggiunto una velocità di generazione misurata in tempo reale pari a 1,38 volte quella di NgramRL sincrono.
Questo risultato sulla velocità riguarda il carico di lavoro e l’hardware della profilazione; la valutazione più ampia dell’addestramento ha incluso due famiglie di modelli e tre carichi di lavoro.
Dettagli
- Autori del paper originale
- Nilesh Prasad Pandey, Jangseon Park, Jason Kong, Onat Gungor, Tajana Rosing
- Inviato ad arXiv
- Licenza
- CC BY 4.0