Correggere le bozze parallele aumenta la velocità di decodifica senza correzione sequenziale

La generazione parallela è interessante perché evita di produrre i token uno alla volta, ma la perdita di dipendenze può ridurre quanti token proposti il verificatore accetta.

Resta da capire se la correzione contestuale possa aumentare le accettazioni senza aggiungere a ogni ciclo di generazione la latenza di un modulo di correzione sequenziale.

DCOCO valuta in parallelo i token candidati vicini, poi seleziona un prefisso da sottoporre al modello target, o verificatore: il prefisso accettato è la sequenza consecutiva più lunga prima del primo rifiuto.

In questo modo aumenta la lunghezza accettata e il throughput end-to-end senza correzione sequenziale.

Con un unico passaggio di DFlash, DCOCO conserva 16 candidati per ogni posizione proposta, valuta in parallelo le transizioni tra posizioni adiacenti e seleziona i token da sinistra a destra.

La valutazione lo ha confrontato con la decodifica vanilla, DFlash, DSpark e Domino, usando quattro architetture di verificatori e dieci suite; il throughput indica i token generati divisi per la latenza della richiesta, inclusa la fase di prefill.

Con Qwen3-8B senza thinking e un flusso, DCOCO ha raggiunto una media di 959.7 token in output al secondo in decodifica greedy, contro 839.3 per Domino e 265.6 per la decodifica vanilla.

Ha anche accettato prefissi più lunghi e completato cicli di correzione più brevi del baseline di correzione più forte: il risultato sulla velocità è quindi collegato sia alla qualità delle proposte sia ai costi aggiuntivi della correzione.

Gli autori hanno addestrato ogni metodo una sola volta e i confronti usano configurazioni native, non configurazioni con lo stesso numero rigorosamente controllato di token proposti.

I risultati stabiliscono quindi il vantaggio riportato solo con l’hardware, le suite fisse, le impostazioni di decodifica e le condizioni dei modelli testati; non misurano la qualità delle risposte.