FR
ProVe accélère la génération en vérifiant des blocs de jetons
ProVe: Proposer-Verifier Decoding · arXiv:2610.27815
En termes simples
Les modèles de langage écrivent généralement un jeton à la fois. ProVe est une méthode de décodage dans laquelle un modèle spécialement entraîné propose plusieurs jetons futurs en un seul passage, puis un autre passage vérifie quelle partie de cette proposition peut être conservée. Dans des tests avec un modèle Qwen de 32B, la version qui se vérifie elle-même a conservé exactement la sortie gloutonne ordinaire du modèle et a affiché un débit moyen supérieur au décodage ordinaire sur six tests d’instruction. Ce résultat concerne la configuration évaluée, pas tous les modèles ni toutes les tâches.
La recherche
Les modèles de langage qui génèrent un jeton par passage répètent des calculs séquentiels. Le décodage spéculatif classique confie la rédaction au fil des jetons à un modèle plus petit.
La question est donc de savoir si un grand modèle entraîné à proposer un bloc d’un coup peut accélérer la génération, et quel coût de vérification cela entraîne.
ProVe permet à un modèle de langage entraîné par blocs de proposer des jetons futurs, puis vérifie ces blocs pour préserver la sortie gloutonne ou échanger une part de précision contre de la vitesse.
Pour accélérer la génération avec un modèle de langage, un grand modèle peut-il proposer plusieurs jetons futurs à la fois au lieu de s’appuyer sur un modèle plus petit qui les rédige un par un ?
ProVe entraîne un modèle à proposer un bloc, puis utilise un second passage pour vérifier les jetons effectivement proposés et décider quelle partie conserver.
Sur six tests d’instruction, la version qui se vérifie elle-même a reproduit la sortie gloutonne ordinaire du proposant et atteint en moyenne 2,54 fois son débit relatif.
Avec un vérificateur plus petit, les auteurs ont mesuré des débits moyens plus élevés, associés à de faibles baisses moyennes de précision dans les configurations testées ; ces résultats étayent l’existence d’un compromis entre vitesse et précision.
Les expériences utilisent le décodage glouton avec des modèles Qwen et un proposant de taille 32B ; les modèles d’instruction et de raisonnement sont évalués sur des ensembles de tâches différents. Les résultats ne permettent pas de conclure sur d’autres familles ou tailles de modèles, sur l’échantillonnage ni sur des systèmes de service plus optimisés.
Ce que montrent les preuves
- Changer la façon de rédiger
ProVe, ou décodage par proposant et vérificateur, est une méthode pour les modèles de langage autorégressifs. Le décodage ordinaire produit un jeton par passage du modèle, tandis que le décodage spéculatif classique rédige encore les jetons un par un avec un modèle plus petit.
ProVe examine si un modèle entraîné à proposer plusieurs jetons futurs en un seul passage peut tenir ce rôle. Un proposant crée un bloc et un vérificateur décide quelle partie de la séquence proposée valider.
- Examiner le contenu des blocs
Les auteurs ont d’abord vérifié si les blocs proposés contenaient déjà des jetons utiles que la règle fondée uniquement sur la confiance du proposant ne repérait pas. Sur GSM8K, un test de résolution de problèmes de mathématiques de niveau scolaire, ils ont comparé des blocs de 16 jetons, prélevés le long de continuations gloutonnes de 300 problèmes choisis au hasard, à la sortie gloutonne du proposant produite un jeton à la fois.
Le préfixe concordant comptait en moyenne 6,6 jetons, tandis que la règle MARS fondée uniquement sur la confiance en validait 3,0 par bloc avec son seuil par défaut. Le proposant et les blocs étant identiques dans cette comparaison, le diagnostic isole l’apport du passage de vérification.
- Mesurer l’accélération à sortie égale
ProVe-lossless utilise le proposant lui-même comme vérificateur : il compare le bloc aux choix de jetons suivants que ferait le proposant en mode glouton et corrige le premier désaccord. Sur six tests d’instruction avec un proposant Qwen2.5-32B-Instruct, la méthode a reproduit exactement la même sortie gloutonne et atteint en moyenne 2,54 fois le débit relatif du décodage glouton ordinaire sur le même nœud.
Ici, le débit correspond au nombre total de jetons générés divisé par le temps total écoulé ; il a été mesuré avec une seule requête en cours. Cette moyenne résume les six tests et ne décrit pas chacun individuellement.
- Échanger de la précision contre de la vitesse
Un vérificateur plus petit offre un autre compromis. Sur les mêmes six tests, un vérificateur standard de 7B avec un seuil de 0,05 a atteint en moyenne 2,30 fois le débit relatif, avec une précision moyenne inférieure de 0,3 point de pourcentage à celle du décodage glouton ordinaire.
Un vérificateur standard de 3B avec un seuil de 0,01 a atteint en moyenne 2,72 fois le débit, avec une baisse moyenne de précision de 2,6 points. Ces moyennes portent sur les tâches évaluées et sont comparées à la référence du même proposant ; elles montrent que les seuils et vérificateurs testés modifient le compromis entre précision et vitesse.
- Évaluer un modèle de raisonnement
Une évaluation distincte a utilisé Qwen3-32B en mode thinking sur GSM8K et MATH-500. Par rapport au décodage glouton ordinaire de ce proposant, ProVe-lossless a atteint 2,47 fois le débit relatif sur GSM8K et 2,79 fois sur MATH-500.
Avec un vérificateur standard de 0,6B et un seuil de 0,10, ProVe a atteint respectivement 2,34 et 3,16 fois le débit. Ces résultats soutiennent l’utilisation de la méthode dans un autre contexte évalué, tout en restant distincts de l’évaluation sur les six tests d’instruction.