Collection de recherches
#matrix-aware-optimization
Recherche avec le tag matrix-aware-optimization: explications, preuves, limites et liens entre articles.
1 résultats
Des poids structurés pour réduire le coût de Muon à grande échelle
Dans quatre essais appariés, Monarch–Muon a obtenu une perte plus faible qu’AdamW ; à 6,89 milliards de paramètres, il a réduit temps et mémoire face à Muon dense.