En inferencia de LLM, menor precisión supera a 2:4 por encima del límite
En palabras sencillas
Los modelos de lenguaje grandes pueden ocupar menos espacio si se usan menos bits para representar cada valor o si se descartan algunos valores siguiendo un patrón fijo. Este artículo mide cuál de las dos opciones conserva mejor los cálculos del modelo cuando se iguala el almacenamiento o la velocidad de cómputo.
En dos modelos de 8B, usar menos bits y conservar todos los valores normalmente produjo menos error que descartar valores. Sin embargo, en la precisión densa más baja que admiten las GPU, un modelo disperso reentrenado ofreció un servicio más rápido en una configuración con H100, sin una diferencia significativa en una prueba de problemas matemáticos.
La investigación
Al comprimir un modelo de lenguaje grande para inferencia, ¿conviene descartar valores siguiendo un patrón exigido por el hardware o reducir la precisión de cada valor?
La respuesta podría cambiar en la precisión densa más baja que admite una GPU, donde ya no hay una opción de menor precisión con la que comparar.
El estudio compara la dispersidad 2:4 con la menor precisión según almacenamiento y cómputo, y encuentra que los formatos densos son más precisos por encima de la precisión mínima que admite la GPU.
Los investigadores compararon descartar valores en grupos definidos por el hardware con reducir la precisión conservando todos los valores.
Midieron el error de operaciones de capa en seis familias de operandos y dos modelos de 8B, igualando presupuestos de almacenamiento —incluidos los índices dispersos— y niveles nominales de cómputo.
La cuantización densa tuvo menos error con cada presupuesto de almacenamiento igual evaluado, y FP8 o NVFP4 densos tuvieron menos error que 2:4 con niveles de cómputo iguales. Los autores relacionan este patrón con la energía que se pierde al descartar valores.
En el límite de precisión FP8, una comparación de servicio en H100 encontró más rendimiento de prefill para un modelo disperso reentrenado, sin una diferencia significativa de precisión en GSM8K.
Estos resultados corresponden a los formatos, los dos modelos de 8B, las GPU y los procedimientos evaluados. La comparación del reentrenamiento en Blackwell utilizó una ejecución sin ajustar por estudiante, de unos 1B tokens, así que no permite determinar si una ejecución más larga o ajustada de otra manera cerraría la brecha de precisión.