Auteur
Guoxia Wang
Articles qui citent Guoxia Wang parmi les auteurs de la source. Un même nom peut désigner des chercheurs différents.
2 résultats
Articles qui citent Guoxia Wang parmi les auteurs de la source. Un même nom peut désigner des chercheurs différents.
2 résultats
Des tests sur petits modèles révèlent une précision moyenne plus élevée ; à 1,7 milliard de paramètres, Virtual Head Attention réduit l'utilisation du cache par rapport à GQA-8.
FlashMask-3 coordonne les masques d'attention structurée sur les GPU Hopper et a augmenté le débit lors d'un entraînement sur un grand modèle.