IT
I crediti assegnati ai token migliorano l’addestramento matematico dei modelli a diffusione
DTCA: Denoising Token Credit Assignment for Reinforcement Learning in Diffusion Language Models · arXiv:2610.35201
In parole semplici
I modelli linguistici a diffusione completano le parole mascherate in più passaggi. La ricompensa per la risposta finita non dice quali scelte di parole fatte prima abbiano reso più facili da prevedere le altre posizioni ancora mascherate.
Il paper presenta DTCA, che stima questi effetti in base alla categoria grammaticale e usa le stime per guidare l’addestramento. In due test di matematica valutati in base alla correttezza della risposta finale, DTCA ha superato il modello base con lo stesso limite di 256 token per risposta e 256 fasi di denoising. I test non mostrano se i passaggi intermedi del ragionamento fossero corretti.
La ricerca
Quando un modello linguistico a diffusione riceve una ricompensa per una risposta completa, come può l’addestramento capire quali scelte di token fatte prima abbiano reso più facili da prevedere le parole ancora mascherate?
Le scelte interagiscono durante le ripetute fasi di denoising, quindi un punteggio assegnato all’intera risposta offre indicazioni limitate sul contributo dei singoli token.
DTCA stima come le scelte dei token influenzano le previsioni successive e usa queste stime per selezionare le fasi di addestramento e distribuire i segnali di apprendimento nei modelli linguistici a diffusione.
DTCA usa sequenze di denoising offline per stimare come la scelta di un token cambi la sicurezza delle previsioni nelle posizioni ancora mascherate; calcola poi le medie per categoria grammaticale e usa pesi fissi per selezionare le fasi di addestramento e assegnare segnali di apprendimento ai singoli token.
Modifica inoltre questi segnali usando le variazioni stimate dell’incertezza delle previsioni dovute agli aggiornamenti.
Su MATH500, un test di matematica, e GSM8K, un test con domande matematiche, gli autori misurano la frazione di domande con risposta finale corretta. Con un limite di 256 token per risposta e 256 fasi di denoising, DTCA ha superato il checkpoint base riprodotto di 6.8 e 2.1 punti percentuali, rispettivamente.
Sostituendo i crediti basati sui contributi con crediti uniformi, l’accuratezza è diminuita pur mantenendo la selezione delle fasi; il confronto sostiene un ruolo di quei crediti.
La valutazione riguarda il ragionamento matematico con LLaDA-8B-Instruct. Le stime del contributo di DTCA dipendono dall’etichettatura delle categorie grammaticali e dal loro allineamento ai token; inoltre, usano le variazioni della sicurezza delle previsioni come indicatore dell’effetto di un token sulle successive fasi di denoising.
Cosa mostrano le prove
- Il problema dell’assegnazione del credito
Denoising Token Credit Assignment (DTCA) è un metodo per assegnare segnali di apprendimento a singoli token durante il reinforcement learning dei modelli linguistici a diffusione. Questi modelli scelgono i token in più fasi di denoising e ogni scelta può influire sulle previsioni successive nelle posizioni ancora mascherate.
La ricompensa per la risposta completa non indica quali scelte siano state utili; gli autori chiedono quindi come stimarne i contributi separati.
- Le scelte variano per categoria
Per motivare un metodo di stima dei contributi, gli autori hanno analizzato sequenze generate dal set di addestramento GSM8K. Hanno misurato come cambiava la sicurezza delle previsioni nelle posizioni ancora mascherate dopo la scelta di un token, quindi hanno calcolato la media delle stime per categoria grammaticale.
Le categorie differivano: i verbi avevano l’aumento medio maggiore, seguiti da nomi e nomi propri; determinanti e adposizioni mostravano aumenti più contenuti. Questa analisi delle sequenze è distinta dalla valutazione finale del modello.
- Dalle stime ai segnali di addestramento
Prima del reinforcement learning, DTCA usa sequenze offline per stimare questi effetti, calcola medie per categoria grammaticale e le trasforma in pesi fissi. Durante l’addestramento, i pesi contribuiscono a selezionare le fasi di denoising e a ridimensionare i segnali di apprendimento per gli obiettivi di ottimizzazione.
Questi obiettivi possono comprendere sia i token scelti in una fase selezionata sia le posizioni mascherate che restano tali. DTCA modifica inoltre i segnali sulla base delle variazioni stimate dell’incertezza delle previsioni dopo gli aggiornamenti del modello.
- Cosa mostrano i test
Gli autori hanno valutato il ragionamento matematico su MATH500 e GSM8K, verificando la correttezza delle risposte finali nell’intero set di test. Con un limite di 256 token per risposta e 256 fasi di denoising, DTCA ha ottenuto un’accuratezza superiore a quella del checkpoint base riprodotto in entrambi i test.
Un’ablazione ha mantenuto la selezione delle fasi di DTCA, sostituendo i crediti basati sui contributi con crediti uniformi; l’accuratezza è diminuita. Il confronto sostiene un ruolo dei crediti basati sui contributi in questa configurazione.
Dettagli
- Autori del paper originale
- Hongze Chen, Miao Pan, Lizhou Liang, Qinfeng Li, Xinyin Ma
- Inviato ad arXiv
- Licenza
- CC BY 4.0