QUILT accelera il prefill con contesto lungo condividendo il lavoro tra query
In parole semplici
QUILT è un metodo di sistema informatico per eseguire la sparse attention nei modelli linguistici con contesto lungo. Invece di gestire ogni query separatamente, raggruppa quelle vicine, carica una sola volta le voci key-value che hanno selezionato in comune e le riutilizza.
Il metodo organizza la condivisione in modo che si adatti alle tile degli acceleratori e sovrappone questo lavoro di preparazione ai calcoli dell’attenzione. Nei test su GLM-5.3 e DeepSeek-3.2, la maggiore riduzione riportata per un singolo confronto della latenza del kernel di sparse attention è stata del 55.1% sui quattro carichi di lavoro con contesto lungo, mentre le differenze assolute medie dei punteggi sui 21 dataset sono rimaste contenute.
La ricerca
Con l’aumento delle finestre di contesto, il prefill deve elaborare più dati key-value selezionati prima che compaia il primo token.
Non è chiaro se le query vicine condividano abbastanza lavoro da permettere a un kernel di riutilizzarlo, invece di caricare, convertire e calcolare ripetutamente le stesse voci.
QUILT raggruppa query sparse vicine e riutilizza le voci key-value condivise, riducendo la latenza del kernel e quella al primo token.
Gli autori hanno confrontato QUILT con OPS-Transformer, un kernel ottimizzato per la sparse attention, nello stesso assetto di serving XYServe.
Hanno testato GLM-5.3 e DeepSeek-3.2 su quattro carichi di lavoro con contesto lungo, usando tensor parallelism e sequence parallelism, e hanno confrontato i punteggi ufficiali delle attività su 21 dataset.
QUILT ha ridotto il numero di voci key-value elaborate e abbassato sia la latenza del kernel sia il tempo necessario per produrre il primo token in uscita. Per GLM-5.3, la latenza media del kernel è diminuita del 53.8% con tensor parallelism sui quattro carichi di lavoro, mentre la differenza assoluta media dei punteggi sui 21 dataset è stata di 0.42 punti.
Nel complesso, questi risultati sostengono un prefill più veloce nei test, con variazioni misurate contenute nei punteggi.
Le evidenze riguardano GLM-5.3 e DeepSeek-3.2, le attività di LongBench, quattro carichi di lavoro per prestazioni e latenza al primo token, 21 dataset per l’accuratezza e un banco di prova con 16 NPU Ascend 910C.
Non stabiliscono che gli stessi miglioramenti si verifichino con altri modelli, attività, configurazioni, assetti di serving o condizioni degli acceleratori.
Analisi
Dettagli
- Licenza
- arXiv non-exclusive