Raccolta di ricerche
#structured-weights
Ricerca con tag structured-weights: spiegazioni, prove, limiti e collegamenti tra paper.
1 risultati
I pesi strutturati rendono il training con Muon più economico su larga scala
In run abbinati su modelli densi e MoE, Monarch–Muon ha ottenuto loss inferiore rispetto a Monarch–AdamW; a 6,89 miliardi di parametri ha ridotto tempo per passo e memoria rispetto a Muon denso.