DualQuant quantizza i modelli linguistici senza dati di calibrazione

L’inference con pochi bit è utile solo se si possono comprimere sia i pesi del modello sia le sue attivazioni, ma i valori anomali delle attivazioni rendono difficile farlo.

Resta da capire se un metodo possa ricavare dal modello stesso un riscalamento efficace delle attivazioni, evitando dati rappresentativi di calibrazione e preservando la qualità nei moderni formati a pochi bit.

DualQuant ricava dai pesi il riscalamento delle attivazioni e ottimizza congiuntamente le scale per riga e per colonna compatibili con il formato, evitando dati di calibrazione per l’inference con pochi bit.

I ricercatori hanno ottimizzato le scale per riga e per colonna direttamente rispetto all’errore di ricostruzione dei pesi, proiettandole sui valori ammessi da ciascun formato a 4 bit.

Hanno confrontato queste rappresentazioni congiunte di pesi e attivazioni con SmoothQuant, che usa campioni delle attivazioni per il riscalamento, e con baseline senza calibrazione su modelli Qwen e Llama.

Le evidenze supportano la risposta centrale: nei test riportati, il riscalamento senza calibrazione può restare competitivo.

Per Llama-3.1-8B in NVFP4, la perplexity su WikiText-2 è stata 6.83 con DualQuant contro 7.32 con SmoothQuant, mentre due altri metodi senza calibrazione non sono convergenti; un controllo con pesi fissi ha inoltre mostrato che la scala per colonna riduceva il rumore di quantizzazione delle attivazioni.

Le evidenze supportano la quantizzazione congiunta senza calibrazione nei modelli Qwen e Llama, nei formati e nelle attività testati e in una singola implementazione packed.

La garanzia di convergenza vale a condizione che la quantizzazione non sia degenere e che la matrice si stabilizzi in un numero finito di iterazioni; i confronti estesi con SINQ+ sono baseline ottenute al meglio delle possibilità.