Las correcciones binarias igualan o mejoran la calidad con el mismo almacenamiento

En palabras sencillas

La investigación

Qué muestran las pruebas

• Una corrección con otra función

  BiLoCo (Binary Low-Rank Corrections) es un método de cuantización posterior al entrenamiento para los pesos de modelos de lenguaje. La cuantización directa a NVFP4 puede dejar una brecha de calidad porque sus valores poco precisos representan con dificultad algunos valores atípicos de los pesos y las activaciones.

  Una corrección convencional de mayor precisión puede reducir parte de ese error, pero sus cálculos matriciales usan los mismos núcleos tensoriales que el cálculo FP4 principal. BiLoCo plantea si otra forma de corrección puede aprovechar otros recursos de cálculo de la GPU.

• Los signos dan forma a la corrección

  BiLoCo representa cada matriz de pesos como un residuo NVFP4 más una corrección de rango bajo formada por vectores de signos binarios y coeficientes escalares. Durante la construcción, ajusta de forma voraz pares de vectores con signos a la matriz, vuelve a ajustar sus coeficientes en conjunto y, después, cuantiza el residuo restante.

  Durante la inferencia, la corrección usa sumas y restas en los núcleos CUDA mientras los núcleos tensoriales calculan el residuo FP4. Un kernel fusionado combina ambas partes.

• Más estructura de la matriz con el mismo almacenamiento

  Para comprobar si los factores compactos capturan estructura útil de los pesos, los autores comparan correcciones con el mismo presupuesto de almacenamiento para vectores en 189 matrices de proyección de tres familias de modelos.

  La corrección de rango 512 de BiLoCo captura una mediana del 47.3–52.9% de la norma de Frobenius de cada matriz en las tres familias, frente al 26.3–29.3% de la corrección de rango 32 de SVDQuant. Es un indicador a nivel de matriz, no un resultado directo de calidad del modelo.

• La evaluación de calidad

  Luego, los autores comparan la calidad de los modelos con el mismo presupuesto de almacenamiento para las correcciones, en cinco modelos. En WikiText-2 y C4, la perplejidad de BiLoCo —que mide la dificultad de predecir el siguiente token— es menor o igual que la de SVDQuant en las comparaciones probadas entre modelos y conjuntos de datos; algunos resultados empatan.

  Los autores promedian los valores de BiLoCo sobre seis inicializaciones de signos. El resultado respalda una ventaja de calidad en estas evaluaciones, no que todos los modelos o conjuntos de datos mejoren.

• El costo del kernel y su explicación

  El kernel fusionado se evalúa por separado en una GPU NVIDIA B300. Con tamaño de lote uno, su corrección añade entre un 6–11% de latencia frente al kernel FP4 únicamente, con relleno, medido en la misma ejecución y para rangos de 16–512.

  En un control con el mismo rango, las correcciones binarias y BF16 densas tardan lo mismo; por eso, los autores sitúan la ventaja del formato binario en el mayor rango que permite con un almacenamiento fijo. El resultado de latencia se limita a la GPU y las formas probadas.