NgramRL réutilise les réponses d’entraînement pour accélérer les séquences générées en RL
NgramRL: Accelerating RL Post-Training for Structured Generation via Rollout-Aware N-gram Speculative Decoding · arXiv:2610.32881
En termes simples
Pendant l’entraînement par renforcement, un modèle répond plusieurs fois à des prompts avant d’être mis à jour. NgramRL utilise les réponses récentes au même prompt pour proposer des morceaux d’une nouvelle réponse, puis le modèle actuel vérifie ces propositions.
Lors des tests portant sur deux familles de modèles et trois tâches, NgramRL a conservé davantage de tokens à chaque vérification du modèle que les autres méthodes de production de brouillons pendant les 30 % finaux de l’entraînement, une fois son cache rempli.
Les résultats sont des moyennes sur les combinaisons testées, pas une garantie pour chaque entraînement.
La recherche
Pendant le post-entraînement par renforcement, le modèle doit produire de nombreuses réponses avant de pouvoir être mis à jour, et cette phase peut prendre plus de 70 % d’une étape d’entraînement.
Comment accélérer cette génération lorsqu’un autre modèle chargé de produire des brouillons mobilise une mémoire GPU rare et risque de devenir obsolète à mesure que le modèle entraîné évolue ?
NgramRL réutilise les réponses récentes à chaque prompt comme brouillons et les fait vérifier par le modèle actuel pour accélérer les séquences générées pendant l’entraînement par renforcement.
NgramRL stocke séparément les sorties récentes de chaque prompt et propose des continuations correspondantes que le modèle actuel vérifie.
Les chercheurs l’ont comparé à trois méthodes de production de brouillons sans modèle lors d’entraînements GRPO identiques, avec le même budget de brouillon de 16 et les mêmes réglages d’entraînement.
Sur deux familles de modèles et trois tâches, sa moyenne atteignait 3,60–7,77 tokens conservés par passage du modèle pendant les 30 % finaux de l’entraînement.
Cette mesure compte les tokens gardés à chaque passage du modèle cible ; les résultats étayent l’idée que la répétition des sorties pour un même prompt peut rendre la génération des séquences plus efficace dans ces entraînements.
Le gain de vitesse de prélecture de 1,38x a été mesuré avec Qwen3-8B sur Spider, à l’aide d’un seul GPU RTX PRO 6000 et d’un hôte Threadripper à 32 cœurs. Il ne permet donc pas d’établir le même gain en temps réel sur d’autres tâches ou matériels. L’évaluation plus large de l’entraînement portait sur deux familles de modèles et trois tâches.
Ce que montrent les preuves
- Une phase de génération coûteuse
NgramRL accélère les séquences de génération pendant le post-entraînement par renforcement. Il cherche à réduire le temps consacré à produire des réponses avant chaque mise à jour du modèle, alors qu’un modèle de brouillon distinct utiliserait une partie de la mémoire GPU et pourrait devenir obsolète à mesure que l’entraînement modifie le modèle.
Selon l’article, la génération des séquences peut dépasser 70 % d’une étape d’entraînement, ce qui en fait une cible importante pour l’accélération.
- Les réponses antérieures se recoupent
Le système exploite la répétition des prompts d’une époque d’entraînement à l’autre. Les auteurs ont comparé les réponses au même prompt lors d’époques consécutives et ont constaté qu’une réponse antérieure couvrait 48–96 % d’une réponse ultérieure, avec des segments récurrents de 7–23 tokens.
Ces plages indiquent une source de texte de brouillon issue des prompts d’entraînement, sans préciser le chevauchement pour un prompt donné.
- Les brouillons sont vérifiés
NgramRL stocke les réponses récentes dans un cache distinct pour chaque prompt et propose des continuations à partir de textes correspondants. Le modèle actuel vérifie ces propositions ; si l’une est rejetée, une étape de correction garantit que les tokens conservés suivent la distribution de ce modèle.
Le cache peut suggérer du texte sans modifier la distribution des tokens du modèle ; cette garantie concerne l’échantillonnage, et non une mesure de la précision sur les tâches ou de la convergence de l’entraînement.
- Davantage de tokens par passage
Les chercheurs ont comparé NgramRL à trois autres méthodes de production de brouillons sans modèle, avec les mêmes réglages GRPO, des entraînements identiques et un budget de brouillon de 16. Ils ont mesuré le nombre de tokens conservés par passage du modèle cible.
Pendant les 30 % finaux de l’entraînement, la moyenne allait de 3,60 à 7,77 sur deux familles de modèles et trois tâches ; le maximum de cette période était de 7,0 fois le décodage par recherche dans les prompts pour Qwen3-8B sur Spider.
Le résumé de l’article indique séparément un maximum global de 1,99 fois SuffixDecoding : ce chiffre porte sur un périmètre différent.
- La prélecture réduit l’attente
Le système prépare aussi les brouillons suivants les plus probables pendant que le modèle vérifie les brouillons en cours. Lors du profilage de Qwen3-8B sur Spider avec 16 candidats, cette prélecture couvrait 96,6 % des résultats de vérification effectivement obtenus et atteignait un débit mesuré de séquences générées égal à 1,38 fois celui de NgramRL synchrone.
Ce gain de vitesse est propre à la tâche et au matériel utilisés pour le profilage ; l’évaluation plus large de l’entraînement portait sur deux familles de modèles et trois tâches.
Détails
- Auteurs de l’article original
- Nilesh Prasad Pandey, Jangseon Park, Jason Kong, Onat Gungor, Tajana Rosing
- Soumis à arXiv
- Licence
- CC BY 4.0