Las pruebas pequeñas con GPU pueden guiar búsquedas de entrenamiento a gran escala

Cuando una ejecución de entrenamiento grande puede llevar horas y aun así fallar por falta de memoria, ¿cómo pueden los equipos elegir los ajustes sin probar cada configuración en todo el clúster?

El artículo pregunta si las mediciones de una prueba más pequeña pueden ayudar a identificar configuraciones que respeten el límite de memoria y ofrezcan un alto rendimiento a la escala objetivo.

Primus Projection estima la memoria y el rendimiento a gran escala a partir de pruebas con menos GPU, para que un agente pueda filtrar y ordenar configuraciones de entrenamiento.

Para comprobar si las pruebas pequeñas pueden orientar decisiones a mayor escala, los autores compararon las proyecciones de Primus con mediciones de hardware.

Hicieron pruebas con 1, 2, 4 u 8 GPU en un mismo servidor y reconstruyeron analíticamente el escenario objetivo; en las pruebas evaluadas con AMD para Llama y Mixtral, el rendimiento proyectado se apartó del medido en no más de aproximadamente un 10%.

Como el agente de ajuste selecciona configuraciones según las puntuaciones proyectadas, los autores también compararon los órdenes proyectados con los medidos. Coincidieron exactamente para Mixtral y Qwen3, y fueron similares para GPT-OSS-120B; el agente eligió en cada prueba el candidato con mejor resultado medido. Esto respalda el uso de proyecciones para orientar la búsqueda en los casos evaluados.

La evidencia respalda la búsqueda guiada por proyecciones en los modelos y sistemas AMD evaluados. No establece la precisión en otro hardware ni modela la contención de red, y tampoco muestra si las recetas FP8 convergen.