DualQuant quantifie les modèles de langage sans données de calibration
En termes simples
DualQuant est une méthode appliquée après l’entraînement pour réduire la taille des modèles de langage et accélérer leur exécution en stockant leurs poids et leurs activations internes avec moins de bits. Elle s’appuie sur la matrice de poids existante du modèle pour choisir comment redimensionner les canaux d’activation ; elle n’a donc pas besoin d’exemples de texte pour la calibration.
La méthode a été testée sur des modèles Qwen et Llama dans plusieurs formats sur 4 bits. Elle a généralement égalé ou dépassé une méthode utilisant la calibration. Dans un test sur Llama, sa perplexité était de 6,83, contre 7,32 pour SmoothQuant.
La recherche
L’inférence avec peu de bits n’est utile que si l’on peut compresser à la fois les poids du modèle et ses activations, mais les valeurs extrêmes de ces dernières compliquent cette compression.
On ne sait pas encore clairement si une méthode peut choisir un redimensionnement efficace des activations à partir du modèle lui-même, éviter des données représentatives de calibration et préserver la qualité dans les formats modernes à faible nombre de bits.
DualQuant calcule le redimensionnement des activations à partir des poids et optimise conjointement des facteurs d’échelle par ligne et par colonne adaptés au format, sans données de calibration pour l’inférence avec peu de bits.
Les chercheurs ont optimisé directement les facteurs d’échelle par ligne et par colonne pour réduire l’erreur de reconstruction des poids, tout en les projetant sur les valeurs autorisées par chaque format sur 4 bits.
Ils ont comparé ces représentations conjointes des poids et des activations à celles de SmoothQuant, qui utilise des échantillons d’activations pour le redimensionnement, ainsi qu’à des méthodes de référence sans calibration, sur des modèles Qwen et Llama.
Les éléments recueillis étayent la réponse centrale : dans les tests rapportés, un redimensionnement sans calibration peut rester compétitif. Pour Llama-3.1-8B en NVFP4, la perplexité sur WikiText-2 était de 6,83 avec DualQuant contre 7,32 avec SmoothQuant, tandis que deux autres méthodes sans calibration ont divergé.
Un contrôle à poids fixes a aussi montré que le facteur par colonne réduisait le bruit de quantification des activations.
Les éléments recueillis étayent la quantification conjointe sans calibration pour les modèles Qwen et Llama, les formats, les tâches et le déploiement empaqueté testés. La garantie de convergence dépend d’une quantification non dégénérée et d’une stabilisation en un nombre fini d’itérations ; les comparaisons étendues avec SINQ+ sont des références établies au mieux.
Analyse
Détails
- Auteurs
- Mahsa Salmani, Sayeh Sharify, Hesham Mostafa
- Licence
- arXiv non-exclusive