Colección de investigaciones
#matrix-aware-optimization
Investigación etiquetada matrix-aware-optimization: explicaciones, pruebas, límites y conexiones entre papers.
1 resultados
Los pesos estructurados abaratan el entrenamiento con Muon a gran escala
En ejecuciones emparejadas, Monarch–Muon tuvo menor pérdida que Monarch–AdamW en modelos densos y MoE; con 6,89B, redujo tiempo y memoria frente a Muon denso.