DualQuant cuantiza modelos de lenguaje sin datos de calibración

La inferencia con pocos bits solo resulta útil si se pueden comprimir tanto los pesos del modelo como sus activaciones, pero los valores atípicos de las activaciones lo dificultan.

Sigue sin estar claro si un método puede elegir un reescalado eficaz de las activaciones a partir del propio modelo y así evitar datos representativos de calibración sin perder calidad en formatos modernos de pocos bits.

DualQuant obtiene de los pesos el reescalado de activaciones y optimiza conjuntamente escalas por fila y columna adaptadas al formato, sin datos de calibración para la inferencia con pocos bits.

Los investigadores optimizaron directamente las escalas por fila y por columna para reducir el error de reconstrucción de los pesos, proyectándolas a los valores permitidos por cada formato de 4 bits.

Compararon las representaciones conjuntas de pesos y activaciones resultantes con SmoothQuant, que usa muestras de activación para el reescalado, y con métodos de referencia sin calibración en modelos Qwen y Llama.

La evidencia respalda la respuesta central: en las pruebas informadas, el reescalado sin calibración puede seguir siendo competitivo. Para Llama-3.1-8B en NVFP4, la perplejidad en WikiText-2 fue de 6.83 con DualQuant, frente a 7.32 con SmoothQuant, mientras que otros dos métodos sin calibración divergieron.

Además, un control con los pesos fijos mostró que la escala por columna redujo por sí misma el ruido de cuantización de las activaciones.

La evidencia respalda la cuantización conjunta sin calibración en los modelos Qwen y Llama, los formatos, las tareas y un despliegue empaquetado evaluados.

La garantía de convergencia depende de que la cuantización no sea degenerada y de que el proceso se estabilice en un número finito de iteraciones; las comparaciones ampliadas con SINQ+ son referencias de mejor esfuerzo.