FR
Info-GRPO relie les chemins de raisonnement aux seeds d’entraînement
Correlation-Aware Exploration for Long-Trace Reasoning · arXiv:2610.34949
En termes simples
Les modèles de langage peuvent se limiter à quelques façons de résoudre de longs problèmes de raisonnement. Ajouter du hasard à chaque mot suivant peut les aider à explorer, mais risque aussi de les pousser sans cesse vers des mots improbables.
Info-GRPO est un cadre d’entraînement qui ajoute des seeds numériques aux invites pour orienter le modèle vers différents chemins de raisonnement à partir d’une même invite. Les auteurs ont relevé une précision moyenne supérieure à celle de GRPO sur un test de mathématiques pour un modèle, tout en rapportant aussi un cas où Info-GRPO fait moins bien.
Ces résultats constituent un indice prometteur en faveur de cette méthode d’entraînement, pas une garantie pour tous les modèles et toutes les tâches.
La recherche
L’entraînement peut-il encourager un modèle de langage à explorer plusieurs façons de résoudre un long problème sans rendre chaque mot suivant moins prévisible ?
Les auteurs estiment que les bonus d’entropie au niveau des tokens peuvent pousser la probabilité vers des mots improbables tout au long d’une longue séquence, créant une tension entre exploration et convergence.
Info-GRPO utilise des seeds numériques pendant l’entraînement pour associer différents chemins de raisonnement à des seeds différents, tout en renforçant la confiance dans chaque chemin conditionné.
Info-GRPO entraîne le modèle sur les invites d’origine et sur des invites augmentées par des seeds numériques. Son objectif encourage la variation entre les chemins sans seed tout en réduisant l’incertitude des chemins associés à un seed ; à l’inférence, le modèle reçoit l’invite d’origine.
Sur AIME24, un test de mathématiques, les auteurs rapportent 62,08 % d’Avg@8 pour Info-GRPO et 57,92 % pour GRPO sur DeepSeek-R1-Distill-Qwen-7B. Avg@8 est la précision moyenne sur huit essais de génération indépendants. Ce résultat appuie l’existence d’un gain dans cette comparaison, pas d’un avantage universel.
Les résultats portent sur des tâches de mathématiques et de programmation avec des récompenses vérifiables, et des budgets de réponse allant jusqu’à 8 192 tokens. Les auteurs ne donnent pas d’estimation de la dispersion pour Avg@8 et n’ont pas répété l’entraînement complet avec des seeds aléatoires indépendants.
Les résultats ne permettent donc pas d’établir dans quelle mesure les gains se reproduiraient d’un entraînement à l’autre.
Ce que montrent les preuves
- Le défi de l’exploration
Info-GRPO est un cadre d’entraînement pour modèles de langage qui étend Group Relative Policy Optimization (GRPO). Il s’attaque à un problème des longues séquences de raisonnement : GRPO peut renforcer les chemins les mieux récompensés et réduire la variété des stratégies du modèle.
Les auteurs examinent si un bonus d’entropie au niveau des tokens peut encourager l’exploration sans déstabiliser l’entraînement.
- Tester le bonus d’entropie
Un bonus d’entropie au niveau des tokens répartit la probabilité entre les prochains tokens possibles. Selon les auteurs, dans un grand vocabulaire, il exerce à chaque étape une forte pression sur les tokens très improbables, pression qui s’accumule sur une longue séquence.
Dans une étude d’ablation sur DeepSeek-R1-Distill-Qwen-7B, un bonus couvrant tout le vocabulaire obtient un score inférieur à celui de GRPO sans bonus sur AIME24, tandis qu’un bonus limité aux tokens les plus probables obtient un score légèrement supérieur. Cette comparaison teste la portée du bonus dans ces trois configurations.
- Relier les seeds aux chemins
Info-GRPO ajoute des seeds numériques aux invites pendant l’entraînement et combine, dans son objectif, les générations issues des invites avec et sans seed. Le but est que les seeds orientent le modèle vers différents chemins de raisonnement, tout en laissant chaque modèle conditionné par un seed gagner en confiance.
Le seed n’est pas ajouté au moment de l’inférence. Sur AIME24, un test de mathématiques, Info-GRPO obtient 62,08 % d’Avg@8, contre 57,92 % pour GRPO sur DeepSeek-R1-Distill-Qwen-7B ; Avg@8 est la précision moyenne sur huit essais de génération indépendants.
- Vérifier le contrôle avec seeds
Un contrôle aide à distinguer la méthode complète de la simple augmentation des invites. Sur AIME24, GRPO entraîné avec des invites augmentées par des seeds, mais sans régularisation par information mutuelle, obtient 42,23 % d’Avg@8, contre 45,04 % pour GRPO standard sur Qwen2.5-Math-7B.
Ce contrôle suggère que l’ajout de seeds, à lui seul, n’a pas reproduit le gain rapporté, même s’il n’isole pas tous les effets des seeds dans Info-GRPO.
- Portée et exception
Les résultats rapportés comprennent aussi un test de programmation et une comparaison du nombre d’échantillons à l’inférence. Sur LiveCodeBench, qui évalue la génération de code, Info-GRPO obtient une précision Avg@8 supérieure à celle de GRPO pour DeepSeek-R1-Distill-Qwen-7B.
Sur AIME24, ce modèle atteint 80 % de précision par vote majoritaire avec huit échantillons par question sous Info-GRPO, contre 64 pour GRPO. Pourtant, sur AIME25, Info-GRPO obtient un score inférieur à GRPO pour Qwen2.5-7B : les gains ne sont donc pas universels.
Détails
- Auteurs de l’article original
- Junxing Hu, Zicheng Zhang, Zhiqian Zhang, Ai Han, Yifeng Zhang
- Soumis à arXiv
- Licence
- arXiv non-exclusive