Virtual Head Attention riduce la cache preservando la qualità del modello

Quando i modelli linguistici gestiscono contesti più lunghi, la cache di attention occupa più memoria, e ridurre le teste chiave-valore condivise può danneggiare la qualità del modello. È possibile progettare un meccanismo di attention che riduca questo peso in memoria e il costo di calcolo durante l'addestramento senza perdere precisione?

Il paper verifica se trasformazioni apprese possano recuperare un comportamento di attention utile con meno teste fisiche.

Virtual Head Attention apprende la diversità delle query e la combinazione tra teste durante l'addestramento, poi incorpora entrambe nell'attention grouped-query standard per l'inference.

Gli autori hanno pre-addestrato quattro scale di modelli con architettura Qwen3 su 50 miliardi di token e hanno confrontato VHA con la grouped-query attention usando i conteggi standard di teste chiave-valore per scala.

Su otto test a scelta multipla zero-shot, la precisione media a ogni scala era da 0,05 a 0,81 punti percentuali più alta con VHA.

A 1,7B, VHA ha utilizzato anche 1,00 KB di cache chiave-valore BF16 per livello per token rispetto a 4,00 KB per GQA-8; il suo costo di calcolo durante l'addestramento era inferiore del 7,9% alla lunghezza di sequenza 4096.

Nel complesso, queste misurazioni supportano un equilibrio tra qualità ed efficienza in questi test, mentre le medie di precisione non implicano miglioramenti su ogni singolo test.

I valori di precisione dei modelli più piccoli sono medie su otto test, quindi non dimostrano che VHA abbia migliorato ogni singolo test.

I confronti non stabiliscono neppure che tutte le impostazioni di addestramento fossero identiche; i risultati sui modelli più grandi e sui contesti lunghi provengono da studi separati con configurazioni di modello e addestramento proprie.