JetSpec++ genera la bozza mentre il target controlla i token
In parole semplici
Di solito i modelli linguistici scrivono il testo un token alla volta. Con lo speculative decoding, un modello più piccolo propone più token e il modello principale li controlla insieme, ma preparare una buona bozza può richiedere tempo.
JetSpec++ prevede cosa potrebbe rilevare il controllo del modello principale e inizia a preparare la bozza successiva mentre quel controllo è in corso. Nei sette test con Qwen3-8B, ha registrato in media più token confermati per controllo rispetto a DSpark, a temperatura zero e con un budget di verifica di 16 token. Il risultato è circoscritto alle condizioni testate.
La ricerca
Lo speculative decoding può accelerare la generazione del testo, ma una bozza appresa che usa gli stati interni del modello target potrebbe dover aspettare che il target controlli il blocco corrente.
Un sistema può preparare il blocco successivo durante quell'attesa e produrre comunque proposte che il target accetta abbastanza spesso da essere utili?
JetSpec++ prevede l'esito ancora incompleto della verifica del target e rivede in parallelo la bozza successiva, mentre il target controlla quella corrente.
JetSpec++ prevede gli stati del target e i probabili esiti ancora mancanti durante la verifica, poi prepara possibili blocchi successivi mentre viene controllato quello corrente.
Il modello di bozza rivede anche le proposte in parallelo, usando aggiornamenti del contesto e sostituzione dell'anchor tra un passaggio e l'altro.
Nei sette test, JetSpec++ ha registrato in media 8.94 token confermati per turno di verifica contro 6.89 per DSpark, con Qwen3-8B a temperatura zero e budget 16.
Poiché un maggior numero di token confermati per turno può ridurre il lavoro di generazione, il risultato supporta la capacità del metodo di sovrapporre la generazione della bozza mantenendo proposte utili in questi test.
Le valutazioni riguardano due modelli target, sette test specifici e le configurazioni di decoding e serving indicate. Le misurazioni di serving usano esecuzioni con una singola richiesta su GPU GB200.
Gli autori affermano che l'ottimizzazione dei sistemi potrebbe ridurre ulteriormente il sovraccarico della generazione delle bozze, ma non quantificano il possibile guadagno.
Analisi
Dettagli
- Autori del paper originale
- Zhaoxiang Feng, Lanxiang Hu, Haoran Yuan, Yu-Yang Qian, Jihui Yang
- Inviato ad arXiv
- Licenza
- CC BY 4.0