Collection de recherches
#cross-head-mixing
Recherche avec le tag cross-head-mixing: explications, preuves, limites et liens entre articles.
1 résultats
Virtual Head Attention réduit le cache tout en préservant la qualité du modèle
Des tests sur petits modèles révèlent une précision moyenne plus élevée ; à 1,7 milliard de paramètres, Virtual Head Attention réduit l'utilisation du cache par rapport à GQA-8.