#cross-head-mixing

Ricerca con tag cross-head-mixing: spiegazioni, prove, limiti e collegamenti tra paper.

1 risultati

1. PaperNLP & Language

   Virtual Head Attention riduce la cache preservando la qualità del modello

   Test su modelli piccoli mostrano una precisione media più alta; a 1,7B, Virtual Head Attention riduce l'uso della cache rispetto a GQA-8.

   Aggiunto a Chiosa 14 ott 2026