RoleQ adapte les échelles des poids ternaires au rôle des unités

Sous quatre bits par poids, un modèle de langue peut encore prédire du texte de manière acceptable tout en perdant des connaissances factuelles et en réussissant moins bien certaines tâches.

L’article demande si convertir un checkpoint existant en poids ternaires peut préserver davantage de ces connaissances sans recourir aux procédures d’entraînement coûteuses qu’utilisent certaines méthodes.

RoleQ-T convertit des modèles de langue existants en poids ternaires et attribue les échelles selon que chaque unité lit dans le flux résiduel partagé ou y écrit.

Les auteurs cherchent à savoir si l’on peut convertir des modèles de langue existants en poids à très faible nombre de bits sans perdre autant de connaissances factuelles ni de précision sur les tâches.

RoleQ-T associe des échelles attribuées selon la fonction des unités à une procédure de conversion ternaire et à une courte étape qui ajuste les échelles tout en gardant fixes les codes des poids.

Sur Qwen3-8B-Base, le protocole d’évaluation des auteurs a relevé un score MMLU de 47,6 après cette étape, contre 25,9 à 34,8 pour trois méthodes ternaires appliquées après entraînement, à leur meilleur stade disponible.

Le MMLU teste des connaissances universitaires et indique la part de réponses correctes. Ce résultat étaye la recette pour ce checkpoint, même si les taux et les stades des méthodes diffèrent.

Ces résultats portent sur le stockage des poids et sur des tests de qualité ciblés, réalisés sur les checkpoints indiqués. L’avantage lié au placement des échelles a été montré dans une base tournée, et l’évaluation ne porte ni sur la génération, ni sur le raisonnement, la vitesse ou la consommation d’énergie.