En inférence LLM, la précision réduite bat 2:4 au-dessus du seuil minimal
En termes simples
On peut réduire la taille des grands modèles de langage en utilisant moins de bits pour représenter chaque valeur ou en supprimant certaines valeurs selon un motif fixe. Cet article mesure quelle méthode préserve le mieux les calculs du modèle lorsque le stockage ou la vitesse de calcul sont comparables.
Dans deux modèles 8B, réduire le nombre de bits tout en conservant toutes les valeurs entraînait généralement moins d’erreur que supprimer des valeurs. Toutefois, à la précision dense la plus basse prise en charge par les GPU, un modèle clairsemé réentraîné a été servi plus rapidement dans une configuration donnée sur H100, sans différence significative lors d’un test de problèmes de mathématiques.
La recherche
Lorsqu’on compresse un grand modèle de langage pour l’inférence, vaut-il mieux supprimer des valeurs selon un motif imposé par le matériel ou réduire la précision de chaque valeur ?
La réponse peut changer à la précision dense la plus basse prise en charge par un GPU, car il n’existe alors aucune option moins précise à comparer.
L’étude compare la sparsité 2:4 et la précision réduite à stockage et calcul égaux ; au-dessus de la précision minimale prise en charge par le GPU, les formats denses sont plus précis.
Les chercheurs ont comparé la suppression de valeurs par groupes imposés par le matériel à la réduction de précision qui conserve toutes les valeurs.
Ils ont mesuré l’erreur des opérations de couche pour six familles d’opérandes dans deux modèles 8B, en égalisant les budgets de stockage — indices clairsemés compris — et les niveaux nominaux de calcul.
La quantification dense présentait moins d’erreur à chaque budget de stockage égal testé ; à niveaux de calcul égaux, FP8 ou NVFP4 dense produisait aussi moins d’erreur que 2:4. Les auteurs relient cette tendance à l’énergie perdue lorsque des valeurs sont supprimées.
Au seuil FP8, une comparaison de service sur H100 a relevé un débit de préremplissage supérieur pour un modèle clairsemé réentraîné, sans différence significative de précision sur GSM8K.
Ces résultats portent sur les formats, les deux modèles 8B, les GPU et les procédures testés. La comparaison des réentraînements sur Blackwell repose sur un seul entraînement non ajusté par étudiant, d’environ 1B tokens.
Elle ne permet donc pas de savoir si un entraînement plus long ou réglé différemment comblerait l’écart de précision.