Collection de recherches
#activation-sparsity
Recherche avec le tag activation-sparsity: explications, preuves, limites et liens entre articles.
1 résultats
BitSparse stocke les activations feed-forward parcimonieuses en utilisant moins de mémoire
BitSparse compresse les activations feed-forward à zéros exacts et réduit la mémoire mesurée sur deux modèles de langage.