FR
Les modèles binaires peuvent s’entraîner avec de petits tampons de mise à jour
Error Diffusion Replaces Latent Weights: Training Binary-Weight Language Models on a Few Bits of Dithered State · arXiv:2610.34566
En termes simples
Les modèles à poids binaires stockent chaque poids sous l’un de deux signes. Pourtant, la méthode d’entraînement habituelle conserve aussi une copie en pleine précision et des données d’optimisation pour chaque poids.
Cet état supplémentaire peut être bien plus volumineux que les poids binaires du modèle. Error Diffusion est un optimiseur qui garde les petites mises à jour restantes dans un tampon jusqu’à ce qu’elles suffisent à inverser le signe d’un poids.
Dans le test du réseau synthétique de l’article, un tampon de 4 bits se rapproche de la précision de la méthode standard tout en utilisant beaucoup moins d’état d’entraînement par poids. Certains tests de modèles de langage trouvent aussi des pertes similaires.
La recherche
Les modèles binaires stockent leurs poids de façon compacte, mais la méthode d’entraînement habituelle conserve bien plus d’état par poids que le modèle déployé. Un modèle binaire peut-il continuer à apprendre sans reconstruire cette volumineuse copie d’entraînement ?
L’article teste un optimiseur conçu pour ne garder que de petites portions des mises à jour qui n’ont pas encore été appliquées.
Error Diffusion remplace les copies d’entraînement en pleine précision par de petits tampons de mise à jour et teste si les modèles binaires peuvent apprendre avec cet état réduit.
L’article compare Error Diffusion à l’approche standard avec poids latents, qui conserve une copie en pleine précision et les moments de l’optimiseur pour chaque poids binaire.
Sur un MLP synthétique de largeur 192, le tampon de 4 bits d’ED atteint une précision de test moyenne de 56.4 % sur cinq graines, proche des 57.5 % de la référence, avec 5 bits d’état par poids au lieu de 97.
Les tests sur des modèles de langage trouvent ensuite qu’ED se rapproche de la référence latente dans plusieurs configurations. Avec un plafond sur les mises à jour par étape, la perte de validation du tampon de 8 bits va de 2.3 % sous la référence à 2.9 % au-dessus, sur six combinaisons testées de tailles de modèle et de corpus ; la série distincte avec un tampon de 4 bits présente des écarts plus importants et certaines exécutions sur wikitext-103 divergent.
Sans plafond, une grande exécution sur un modèle tokenisé présente un écart de perte plus important. Ces résultats étayent la méthode avec les recettes testées, notamment lorsque le plafond est appliqué.
Les résultats portent sur un MLP synthétique et des tests de validation de modèles de langage, avec des cœurs binaires comptant jusqu’à 19 millions de paramètres. Les expériences plus longues sur Shakespeare et certaines comparaisons avec des modèles tokenisés reposent sur un seul essai. L’étude ne teste ni des tâches en aval ni l’efficacité en temps réel.
Ce que montrent les preuves
- Remplacer la grande copie d’entraînement
Error Diffusion (ED) est un optimiseur pour l’entraînement des réseaux neuronaux à poids binaires. La recette habituelle stocke, à côté de chaque poids d’un bit, un poids latent en pleine précision et deux moments de l’optimiseur, soit 97 bits d’état d’entraînement persistant par poids.
ED cherche à savoir si l’entraînement peut conserver les mises à jour non réalisées dans un état plus compact tout en apprenant des poids utiles.
- Comparer la précision et l’état par poids
Dans un perceptron multicouche (MLP) synthétique de type enseignant-élève, la précision de test indique à quelle fréquence l’élève classe correctement des exemples mis de côté. Avec une largeur de 192, ED et son tampon de 4 bits atteignent une moyenne de 56.4 % sur cinq graines, proche des 57.5 % de la référence latente ; leur état par poids occupe respectivement 5 et 97 bits.
Ces données concernent spécifiquement ce test synthétique, mais montrent que l’état plus compact peut s’approcher de la référence dans ce contexte.
- Vérifier l’effet du placement de la grille
Le placement de la grille du tampon compte sur ce même MLP. Avec un tampon de 4 bits, l’aligner sur le seuil de bascule des poids fait passer la précision moyenne de 53.2 % à 56.4 % sur cinq graines. Un test distinct de dithered Bop, qui fait basculer les poids quand une moyenne du gradient franchit un seuil, montre également une amélioration lorsque sa grille à faible précision est alignée. Ces comparaisons étayent l’utilité de cette règle de placement dans les cas testés.
- Évaluer des entraînements plus longs de modèles de langage
Sur Shakespeare au niveau des caractères, ED avec un tampon de 8 bits respecte le critère de perte de 20 % fixé par l’article face à l’entraînement latent, aux trois largeurs après 2,000 étapes ; à 50,000 étapes, une exécution à largeur 256 présente une perte de validation supérieure de 1.7 %.
Dans six combinaisons de modèles plus grands et de corpus, ED avec un tampon de 8 bits et des mises à jour plafonnées à 0.25 unité de bascule par étape obtient une perte allant de 2.3 % sous la référence à 2.9 % au-dessus.
La série distincte avec un tampon de 4 bits présente des écarts plus importants, et certaines exécutions sur wikitext-103 divergent. Le plafonnement est une condition importante : sans lui, une grande exécution sur wikitext-103 présente une perte supérieure de 10.2 %.
- Tester la poursuite de l’entraînement
Enfin, les auteurs adaptent un modèle binaire déployé aux octets de Shakespeare. Après 5,000 étapes, la perte moyenne de validation d’ED sur trois graines est proche de celle de l’entraînement continu avec poids latents, qui devait reconstruire tout son état d’entraînement.
Une autre exécution sur CPU, avec une seule graine, reste sous un plafond annoncé de 275 MB de mémoire supplémentaire. Ces démonstrations décrivent les configurations testées, mais ne tranchent pas les questions concernant d’autres tâches ou l’efficacité.
Détails
- Auteurs de l’article original
- Pierre-Olivier Bonin
- Soumis à arXiv
- Licence
- arXiv non-exclusive