I proxy della media aiutano l'attenzione sparsa a mantenere l'accuratezza

Quando un modello linguistico legge solo una parte del contesto che conserva, come può mantenere le informazioni contenute in ciò che salta? Scartare i token non letti fa perdere informazioni, mentre con budget di lettura ridotti il campionamento può tralasciare token con peso elevato.

Il paper verifica se riassunti compatti dei gruppi possano conservare una parte maggiore del segnale di attenzione.

OpenAttention raggruppa i token della cache, ne legge alcuni in modo esatto e riassume i gruppi non letti con proxy della media che tengono conto della dimensione, per conservare informazioni sull'attenzione.

Gli autori hanno verificato se riassumere i token non letti della cache potesse conservare informazioni utili sull'attenzione meglio che scartarli o campionarli.

Hanno introdotto OpenAttention, che raggruppa i token e usa l'errore stimato dei gruppi per orientare le letture esatte, rappresentando i gruppi non letti con proxy della media che tengono conto della dimensione.

Su sette attività di RULER-32K HARD, Llama-3.1-8B-Instruct ha ottenuto un'accuratezza media di 86.30 con una lettura dell'1% per query, incluse le righe dei proxy, vicino a 87.04 dell'attenzione densa.

Il confronto sostiene il metodo per quelle attività e secondo quel criterio di conteggio delle letture.

Questi risultati riguardano i modelli, le attività e i budget di lettura testati. La stima della varianza diagonale di ErrorGate è approssimativa: non misura l'errore esatto e non costituisce un limite certificato sull'errore dell'output.