Colección de investigaciones
#structured-weights
Investigación etiquetada structured-weights: explicaciones, pruebas, límites y conexiones entre papers.
1 resultados
Los pesos estructurados abaratan el entrenamiento con Muon a gran escala
En ejecuciones emparejadas, Monarch–Muon tuvo menor pérdida que Monarch–AdamW en modelos densos y MoE; con 6,89B, redujo tiempo y memoria frente a Muon denso.