IT
Nell’inference degli LLM, la precisione ridotta supera la 2:4 sopra il limite minimo
Is 2:4 Sparsity Still Worth It? Semi-Structured Sparsity versus Quantization in LLM Inference · arXiv:2610.28947
In parole semplici
I modelli linguistici di grandi dimensioni possono essere compressi usando meno bit per ogni valore oppure eliminando alcuni valori secondo uno schema fisso. Questo studio misura quale scelta conserva meglio i calcoli del modello quando si pareggiano lo spazio occupato o la velocità di calcolo.
Nei due modelli da 8B, usare meno bit mantenendo tutti i valori ha di solito causato meno errore che eliminarne alcuni. Alla precisione densa minima supportata dalle GPU, però, una prova su una H100 ha mostrato un serving più veloce per un modello sparso sottoposto a retraining, senza differenze significative in un test di problemi matematici.
La ricerca
Quando si comprime un modello linguistico di grandi dimensioni per l’inference, conviene eliminare valori secondo uno schema richiesto dall’hardware oppure ridurre la precisione di ogni valore?
La risposta può cambiare alla precisione densa minima supportata da una GPU, quando non è più disponibile un formato a precisione inferiore con cui confrontarsi.
Lo studio confronta la sparsità 2:4 con la precisione ridotta a parità di spazio e calcolo e trova che, sopra la precisione minima supportata dalla GPU, i formati densi sono più accurati.
I ricercatori hanno confrontato l’eliminazione dei valori in gruppi definiti dall’hardware con la riduzione della precisione mantenendo tutti i valori.
Hanno misurato l’errore delle operazioni dei layer in sei famiglie di operandi e due modelli da 8B, pareggiando i budget di spazio, inclusi gli indici sparsi, e i livelli nominali di calcolo.
Per tutti i budget di spazio testati, nel confronto condotto a parità di spazio occupato, la quantizzazione densa ha avuto meno errore; a parità di livello di calcolo, FP8 densa o NVFP4 hanno avuto meno errore della 2:4.
Gli autori collegano questa tendenza all’energia persa quando si eliminano valori. Alla precisione minima FP8, un confronto di serving su H100 ha rilevato un throughput di prefill superiore per un modello sparso sottoposto a retraining, senza una differenza significativa di accuratezza su GSM8K.
Questi risultati riguardano i formati, i due modelli da 8B, le GPU e le procedure testati.
Il confronto di retraining su Blackwell ha usato una sola esecuzione non ottimizzata per ciascun modello student, per circa 1B di token: non stabilisce se un’esecuzione più lunga o regolata diversamente colmerebbe il divario di accuratezza.
Cosa mostrano le prove
- La scelta di compressione
Questo studio di misurazione chiede quale passaggio di compressione sia più adatto all’inference dei modelli linguistici di grandi dimensioni: conservare tutti i valori a precisione inferiore oppure eliminarne alcuni secondo lo schema 2:4 supportato dall’hardware.
Questo schema conserva al massimo due valori su quattro lungo un asse richiesto per le operazioni sulle matrici, e il formato sparso deve memorizzare anche gli indici. Il confronto pratico dipende quindi dal conteggio di quello spazio e dalla parità delle velocità di calcolo messe a confronto.
- Parità di spazio e calcolo
Per confrontare l’accuratezza in modo equo, i ricercatori hanno misurato l’errore dell’output delle operazioni rispetto a un riferimento FP32, per sei famiglie di operandi in ogni layer di Llama-3.1-8B-Instruct e Qwen3-8B.
Hanno pareggiato i formati sparsi e densi per budget di spazio, includendo indici e scale, e per livello nominale di calcolo dei tensor core. Per gli operandi dinamici, i tempi misurati includevano il lavoro di preparazione dell’input; i pesi erano preparati offline. Queste scelte hanno permesso allo studio di valutare i compromessi tra spazio e calcolo.
- I formati densi conservano meglio l’accuratezza
Per tutti i budget di spazio testati, nel confronto condotto a parità di spazio occupato, la quantizzazione densa ha avuto un errore mediano a livello di layer inferiore rispetto alla 2:4 in entrambi i modelli, per pesi, chiavi e valori.
Il divario si è ridotto al diminuire dello spazio disponibile, ma il confronto più vicino riportato è rimasto appena sopra la parità. Per tutte e sei le famiglie di operandi, a parità di livello nominale di calcolo, la 2:4 ha avuto più errore della FP8 densa o della NVFP4 in ogni confronto. Le sue sei vittorie su 108 celle riguardavano soltanto alternative dense meno efficaci.
- Perché il pruning perde sopra la precisione minima
Gli autori spiegano questa tendenza guardando a quali valori vengono persi con ciascun metodo. La 2:4 elimina parte dell’energia di un operando, che una maggiore precisione dei valori conservati non può recuperare; l’errore di quantizzazione diminuisce quando aumenta la precisione.
Il criterio basato sui tensori seguiva l’entità del divario di errore, ma non identificava con affidabilità il vincitore nei casi ravvicinati. Questa cautela conta perché alcuni confronti tra operazioni vicini alla parità non anticipavano in modo coerente le misure a livello di modello.
- Alla precisione minima cambia il compromesso
Alla precisione densa più bassa non è disponibile un’opzione a precisione inferiore. In un confronto di serving con vLLM su una H100, un modello Llama-3.1-8B FP8 2:4 sottoposto a retraining ha raggiunto un throughput di prefill superiore a quello di un modello FP8 denso.
Su GSM8K, un test di ragionamento valutato in base alla frazione di problemi risolti, la differenza di accuratezza sui 250 problemi non era significativa. Un test distinto su Blackwell ha rilevato che, dopo il budget di retraining provato, il modello student FP4 sparso a coppie restava molto al di sotto del modello denso NVFP4 su GSM8K.
Il risultato alla precisione minima dipende quindi sia dall’hardware sia dal fatto che il retraining recuperi la qualità del modello.