In parole semplici
I modelli linguistici possono impiegare più tempo a rispondere quando devono riprendere informazioni da una conversazione o da un documento molto lungo. Per risparmiare lavoro, il modello può consultare solo alcuni token precedenti, ma scegliere soltanto quelli con il punteggio più alto può far perdere informazioni utili.
Questo paper presenta Stratified Sparse Attention, che mantiene i token con punteggi elevati e ne campiona altri usando stime della loro importanza. In un test su contesti lunghi ha superato un metodo pratico che campiona in modo uniforme i token rimanenti, anche se in una delle condizioni riportate un metodo di selezione basato sui punteggi esatti ha ottenuto risultati migliori.
La ricerca
Quando un modello linguistico gestisce un contesto lungo, l’attenzione sparsa può ridurre il lavoro necessario per consultare ripetutamente la cache in crescita. Ma scegliere solo i token con il punteggio più alto può far perdere informazioni utili, mentre il campionamento uniforme può sprecare selezioni.
Un metodo può preservare più contesto utile mantenendo l’efficienza di consultare solo una parte dei token?
Stratified Sparse Attention combina il mantenimento dei token con punteggi elevati e il campionamento guidato dai punteggi per recuperare più contesto utile con attenzione sparsa.
Gli autori chiedono come l’attenzione sparsa possa preservare informazioni utili da un contesto lungo senza leggere ogni token memorizzato nella cache.
Stratified Sparse Attention combina il mantenimento deterministico dei token con punteggi elevati e il campionamento dei token residui guidato dai proxy score; poi corregge i pesi dei token campionati tenendo conto della probabilità di inclusione.
Su RULER-HARD, SSA ha ottenuto un punteggio superiore a quello di un metodo ibrido pratico che usa gli stessi proxy score e lo stesso budget di attenzione, ma campiona uniformemente i token residui.
Il confronto sostiene l’interpretazione degli autori secondo cui il campionamento guidato dai punteggi è utile in queste condizioni; in una condizione riportata, tuttavia, un metodo top-k basato sui punteggi esatti ha ottenuto un risultato superiore.
Questi risultati riguardano modelli, test e lunghezze di contesto selezionati. Su Ministral-3-8B con contesto da 128K, Oracle-top-k ha ottenuto un punteggio RULER-HARD superiore a SSA; inoltre, l’implementazione pratica su GPU usa una frazione fissa di token con punteggi elevati invece dell’allocazione adattiva dell’algoritmo formale e limita le probabilità di inclusione in un modo che, secondo gli autori, introduce un piccolo bias.
Analisi
Dettagli
- Autori del paper originale
- Sahil Joshi, Prithvi Dixit, Aryan Katiyar, Agniva Chowdhury, Joseph E. Gonzalez
- Inviato ad arXiv
- Licenza
- CC BY 4.0