IT
Info-GRPO collega percorsi di ragionamento a seed di training
Correlation-Aware Exploration for Long-Trace Reasoning · arXiv:2610.34949
In parole semplici
I modelli linguistici possono fissarsi su pochi modi per risolvere problemi che richiedono ragionamenti lunghi. Aggiungere casualità a ogni parola successiva può aiutarli a esplorare, ma può anche spingerli ripetutamente verso parole improbabili.
Info-GRPO è un framework di addestramento che aggiunge ai prompt seed digitali per guidare percorsi di ragionamento diversi sullo stesso prompt. Gli autori hanno osservato un’accuratezza media più alta rispetto a GRPO in un test di matematica per un modello, ma riportano anche un caso in cui Info-GRPO ha ottenuto risultati peggiori.
È un’evidenza promettente per questo approccio di addestramento, non una garanzia valida per ogni modello o attività.
La ricerca
L’addestramento può incoraggiare un modello linguistico a esplorare modi diversi di affrontare un problema lungo senza rendere meno prevedibile ogni parola successiva?
Gli autori sostengono che i bonus di entropia a livello di token possano spingere la probabilità verso parole improbabili per tutta la sequenza, creando una tensione tra esplorazione e convergenza.
Info-GRPO usa seed digitali durante l’addestramento per associare percorsi di ragionamento diversi a seed diversi, aumentando la sicurezza di ciascun percorso condizionato.
Info-GRPO si addestra su prompt originali e su prompt arricchiti con seed digitali. Il suo obiettivo incoraggia la varietà tra i percorsi senza seed e riduce l’incertezza nei percorsi condizionati da un seed; in inference usa il prompt originale.
Su AIME24, un test di matematica, gli autori riportano 62.08% Avg@8 per Info-GRPO e 57.92% per GRPO su DeepSeek-R1-Distill-Qwen-7B. Avg@8 è l’accuratezza media su otto prove di decodifica indipendenti. Questo risultato sostiene un miglioramento in quel confronto, non un vantaggio universale.
I risultati riguardano attività di matematica e programmazione con ricompense verificabili, con budget di risposta fino a 8,192 token.
Gli autori non riportano stime della dispersione per Avg@8 e non hanno ripetuto l’intero addestramento con seed casuali indipendenti: i risultati quindi non stabiliscono quanto sia probabile che i miglioramenti si ripetano in diverse esecuzioni di addestramento.
Cosa mostrano le prove
- Il problema dell’esplorazione
Info-GRPO è un framework di addestramento per modelli linguistici che estende Group Relative Policy Optimization (GRPO). Affronta un problema delle sequenze di ragionamento lunghe: GRPO può rinforzare i percorsi con ricompensa alta e restringere le strategie usate dal modello.
Gli autori esaminano se un bonus di entropia a livello di token possa incoraggiare l’esplorazione senza rendere meno stabile l’addestramento.
- Verifica del bonus di entropia
Un bonus di entropia a livello di token distribuisce la probabilità tra i possibili token successivi. Gli autori sostengono che, con un vocabolario ampio, eserciti una forte pressione sui token molto improbabili a ogni passo e che questa pressione si accumuli lungo una sequenza.
In uno studio di ablazione su DeepSeek-R1-Distill-Qwen-7B, il bonus applicato all’intero vocabolario ha ottenuto un punteggio inferiore su AIME24 rispetto a GRPO senza bonus, mentre limitarlo ai token più probabili ha dato un punteggio leggermente superiore. Il confronto verifica l’ambito del bonus in queste tre configurazioni.
- Collegare seed e percorsi
Info-GRPO aggiunge seed digitali ai prompt durante l’addestramento e combina nell’obiettivo le generazioni dai prompt con seed e da quelli originali. Lo scopo è lasciare che i seed guidino percorsi di ragionamento diversi, mentre ciascun modello condizionato da un seed diventa sicuro.
Il seed non viene aggiunto in inference. Su AIME24, un test di matematica, Info-GRPO ha ottenuto 62.08% Avg@8 contro 57.92% per GRPO su DeepSeek-R1-Distill-Qwen-7B; Avg@8 è l’accuratezza media su otto prove di decodifica indipendenti.
- Il controllo con i seed
Un controllo aiuta a distinguere il metodo completo dal semplice arricchimento dei prompt. Su AIME24, GRPO addestrato con prompt arricchiti con seed ma senza regolarizzazione basata sull’informazione mutua ha ottenuto 42.23% Avg@8, meno del 45.04% di GRPO standard su Qwen2.5-Math-7B.
Il controllo suggerisce che aggiungere seed da solo non abbia riprodotto il miglioramento riportato, anche se non separa tutti gli effetti dei seed in Info-GRPO.
- Ambito e caso contrario
Le evidenze riportate comprendono anche un test di programmazione e un confronto sul campionamento durante l’inference. Su LiveCodeBench, che verifica la generazione di codice, Info-GRPO ha ottenuto un’accuratezza Avg@8 superiore a GRPO per DeepSeek-R1-Distill-Qwen-7B.
Su AIME24, lo stesso modello ha raggiunto l’80% di accuratezza con voto a maggioranza usando otto campioni per domanda con Info-GRPO, contro 64 con GRPO. Tuttavia, su AIME25 Info-GRPO ha ottenuto un punteggio inferiore a GRPO per Qwen2.5-7B: i miglioramenti non sono universali.
Dettagli
- Autori del paper originale
- Junxing Hu, Zicheng Zhang, Zhiqian Zhang, Ai Han, Yifeng Zhang
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive