Collection de recherches
#per-microbatch-memory
1 article avec le tag Per microbatch memory. Chaque article indique ce qu’il démontre et ce qu’il ne démontre pas.
1 résultats
Un système d’entraînement adapte la mémoire aux pics de charge des experts
Un système adapte la mémoire d’activations aux pics de routage des experts et maintient une utilisation stable des capacités de calcul lors d’une exécution d’entraînement sur 512 GPU.
