Correzioni binarie: qualità pari o migliore a parità di spazio
BiLoCo: Binary Low-Rank Corrections for Post-Training Quantization · arXiv:2610.32243
In parole semplici
Quando i pesi di un modello linguistico vengono compressi in NVFP4, la qualità può diminuire. Aggiungere una correzione può aiutare, ma una correzione convenzionale ad alta precisione usa gli stessi componenti della GPU impiegati nel calcolo principale.
BiLoCo rappresenta la correzione con molte coppie di semplici valori più o meno, poi esegue queste addizioni insieme al calcolo NVFP4. A parità di spazio per la correzione, la sua perplexity è risultata inferiore o pari a quella di SVDQuant su cinque modelli testati con WikiText-2 e C4.
La ricerca
La quantizzazione diretta in NVFP4 può ridurre la precisione di un modello linguistico, ma una correzione a precisione più alta potrebbe competere con i tensor core usati nel calcolo principale. Una correzione compatta può recuperare qualità usando altre risorse di calcolo della GPU?
BiLoCo divide ogni matrice dei pesi in un residuo NVFP4 e una correzione binaria a basso rango, eseguibile sui CUDA core insieme al calcolo FP4.
La domanda è se una correzione possa recuperare la qualità persa con la quantizzazione NVFP4 senza competere con i tensor core usati nel calcolo principale. Una correzione a precisione più alta può ridurre l'errore di quantizzazione, ma usa gli stessi componenti.
Gli autori confrontano BiLoCo con SVDQuant a parità di spazio per la correzione su cinque modelli, usando WikiText-2 e C4. Nei confronti tra modelli e dataset testati, la perplexity di BiLoCo — una misura della difficoltà di prevedere il token successivo — è inferiore o pari.
Separatamente, la correzione cattura una porzione maggiore della norma di Frobenius delle matrici dei pesi, un indicatore strutturale che aiuta a spiegare il risultato sulla qualità.
Il confronto della qualità riguarda cinque modelli valutati su WikiText-2 e C4: non stabilisce che lo stesso risultato valga per altri modelli o dataset. I tempi del kernel sono stati misurati separatamente su una GPU B300 e con specifiche forme delle proiezioni.
Cosa mostrano le prove
- Una correzione che usa altri componenti
BiLoCo (Binary Low-Rank Corrections) è un metodo di quantizzazione post-training dei pesi dei modelli linguistici. La quantizzazione diretta in NVFP4 può lasciare un divario nella qualità del modello, perché i valori a grana grossa gestiscono male alcuni valori anomali nei pesi e nelle attivazioni.
Una correzione convenzionale a precisione più alta può ridurre parte di questo errore, ma i calcoli sulle matrici usano gli stessi tensor core del calcolo FP4 principale. BiLoCo esplora se una correzione diversa possa usare altre risorse di calcolo della GPU.
- I segni definiscono la correzione
BiLoCo rappresenta ogni matrice dei pesi come un residuo NVFP4 più una correzione a basso rango costruita con vettori di segni binari e coefficienti scalari. Durante la costruzione, adatta in modo greedy coppie di vettori con segno alla matrice, ricalcola insieme i coefficienti e poi quantizza il residuo rimanente.
Durante l'inferenza, la correzione usa addizioni e sottrazioni sui CUDA core, mentre i tensor core calcolano il residuo FP4. Un kernel fused combina i due contributi.
- Più struttura della matrice a parità di spazio
Per verificare se i fattori compatti catturano una struttura utile dei pesi, gli autori confrontano correzioni con lo stesso spazio per i vettori su 189 matrici di proiezione appartenenti a tre famiglie di modelli. La correzione BiLoCo al rango 512 cattura una mediana del 47.3–52.9% della norma di Frobenius di ciascuna matrice nelle tre famiglie, contro il 26.3–29.3% della correzione di rango 32 di SVDQuant. È un indicatore a livello di matrice, non un risultato diretto sulla qualità del modello.
- La verifica della qualità
Gli autori confrontano poi la qualità dei modelli, sempre a parità di spazio per la correzione, su cinque modelli. Su WikiText-2 e C4, la perplexity di BiLoCo — che misura la difficoltà di prevedere il token successivo — è inferiore o pari a quella di SVDQuant nei confronti tra i modelli e i dataset testati; alcuni risultati sono pari.
Gli autori calcolano la media dei valori BiLoCo su sei inizializzazioni dei segni. Il risultato sostiene un beneficio sulla qualità in queste valutazioni, ma non afferma che ogni modello o dataset migliori.
- Costo del kernel e sua spiegazione
Il kernel fused è valutato separatamente su una GPU NVIDIA B300. Con batch size uno, la correzione aggiunge il 6–11% di latenza rispetto al kernel solo FP4 con padding misurato nella stessa esecuzione, per ranghi da 16 a 512.
In un controllo a parità di rango, le correzioni binarie e quelle dense BF16 impiegano lo stesso tempo; gli autori individuano quindi il vantaggio del formato binario nel rango più alto che consente a parità di spazio. La misura di latenza è limitata alla GPU e alle forme testate.
Dettagli
- Autori del paper originale
- David Jin, Beshr IslamBouli, Tarushii Goel, Han Guo, Yoon Kim
- Inviato ad arXiv
- Licenza
- CC BY 4.0