IT
ProVe accelera la generazione controllando blocchi di token proposti
ProVe: Proposer-Verifier Decoding · arXiv:2610.27815
In parole semplici
Di solito i modelli linguistici scrivono un token alla volta. ProVe è un metodo di decoding che permette a un modello addestrato appositamente di proporre in un passaggio un blocco di token futuri; poi un altro passaggio controlla quanti mantenerne.
Nei test con un modello Qwen da 32B, la versione che si autoverifica ha mantenuto esattamente l'output greedy abituale del modello e ha raggiunto in media un throughput superiore al decoding ordinario nei sei test di istruzioni. Il risultato vale per la configurazione testata, non per ogni modello o attività.
La ricerca
I modelli linguistici che generano un token per passaggio ripetono il lavoro in sequenza.
Lo speculative decoding standard usa un modello più piccolo per preparare i token uno alla volta; resta quindi da capire se un modello grande addestrato a proporre un intero blocco possa velocizzare la generazione e quanto costi controllare le proposte.
ProVe permette a un modello addestrato sui blocchi di proporre token futuri e poi controllarli, mantenendo l'output greedy oppure scambiando parte dell'accuratezza per più velocità.
Per velocizzare la generazione dei modelli linguistici, un modello grande può preparare più token futuri in una volta invece di affidarsi a un modello più piccolo che li prepara uno alla volta?
ProVe addestra un modello a proporre un blocco, poi usa un secondo passaggio per controllare i token effettivamente proposti e decidere quanti mantenerne.
Nei sei test di istruzioni, la versione con autoverifica ha riprodotto l'output greedy abituale del proposer e ha raggiunto un throughput relativo medio pari a 2.54 volte il riferimento.
Con un verificatore più piccolo, gli autori hanno misurato medie più rapide insieme a cali medi contenuti di accuratezza nelle configurazioni testate: risultati che sostengono un compromesso tra velocità e accuratezza.
Gli esperimenti usano il greedy decoding con modelli Qwen e un proposer da 32B; i modelli per istruzioni e quelli di ragionamento sono testati su insiemi di attività diversi.
I risultati non stabiliscono le prestazioni per altre famiglie o dimensioni di modello, per il sampling o per sistemi di serving più ottimizzati.
Cosa mostrano le prove
- Cambiare chi prepara i token
ProVe, o proposer-verifier decoding, è un metodo per modelli linguistici autoregressivi. Il decoding ordinario produce un token per passaggio; nello speculative decoding standard, un modello più piccolo prepara ancora i token uno alla volta.
ProVe esamina se un modello addestrato a proporre più token futuri in un solo passaggio possa assumere quel ruolo. Un proposer crea un blocco e un verificatore decide quanti token della sequenza proposta mantenere.
- Controllare cosa contengono i blocchi
Gli autori verificano anzitutto se i blocchi proposti contengano token utili che la regola del proposer basata solo sulla confidence non riesce a mantenere. Su GSM8K, un test di risoluzione di problemi matematici di livello scolastico, confrontano blocchi di 16 token in continuazioni greedy di 300 problemi scelti a caso con l'output greedy token per token del proposer.
Il prefisso corrispondente è lungo in media 6.6 token, mentre la regola MARS basata solo sulla confidence ne mantiene 3.0 per blocco con la soglia predefinita. In questa analisi diagnostica, il proposer e i blocchi restano gli stessi: così il confronto isola il ruolo del passaggio di verifica aggiuntivo.
- Misurare la generazione accelerata
ProVe-lossless usa lo stesso proposer come verificatore: confronta il blocco con le scelte greedy del proposer per i token successivi e corregge la prima divergenza. Nei sei test di istruzioni con un proposer Qwen2.5-32B-Instruct, riproduce lo stesso output greedy e raggiunge un throughput relativo medio pari a 2.54 volte quello del decoding greedy ordinario dello stesso modello sullo stesso nodo.
Qui il throughput è il totale dei token generati diviso per il tempo trascorso, misurato con una richiesta in corso. La media riassume i sei test e non descrive ognuno di essi singolarmente.
- Bilanciare accuratezza e velocità
Un verificatore più piccolo offre un compromesso diverso. Nei sei test, un verificatore standard da 7B con soglia 0.05 raggiunge in media un throughput relativo pari a 2.30 volte il riferimento, con un'accuratezza media inferiore di 0.3 punti percentuali rispetto al normale decoding greedy.
Un verificatore standard da 3B con soglia 0.01 raggiunge in media 2.72 volte il throughput, con un calo medio di 2.6 punti. Sono medie sull'insieme di test, confrontate con il riferimento dello stesso proposer; i risultati mostrano un compromesso tra accuratezza e velocità per le soglie e i verificatori testati.
- Valutare un modello di ragionamento
Una valutazione separata usa Qwen3-32B in modalità thinking su GSM8K e MATH-500. Rispetto al decoding greedy ordinario dello stesso proposer, ProVe-lossless raggiunge un throughput relativo pari a 2.47 volte su GSM8K e a 2.79 volte su MATH-500.
ProVe con un verificatore standard da 0.6B raggiunge rispettivamente 2.34 e 3.16 volte, con soglia 0.10. Questo sostiene l'uso del metodo in un altro contesto testato, mantenendo distinta la valutazione da quella sui sei test di istruzioni.