Collection de recherches
#structured-weights
Recherche avec le tag structured-weights: explications, preuves, limites et liens entre articles.
1 résultats
Des poids structurés pour réduire le coût de Muon à grande échelle
Dans quatre essais appariés, Monarch–Muon a obtenu une perte plus faible qu’AdamW ; à 6,89 milliards de paramètres, il a réduit temps et mémoire face à Muon dense.