Colección de investigaciones
#per-microbatch-memory
1 paper con la etiqueta Per microbatch memory. Cada paper indica qué demuestra y qué no demuestra.
1 resultados
Un sistema de entrenamiento adapta la memoria a los picos de carga de los expertos
Un sistema ajusta la memoria de activaciones durante picos de enrutamiento entre expertos y mantiene estable el uso del cómputo en una ejecución de entrenamiento con 512 GPU.
