Un Transformer propose cinq budgets de calcul avec des poids partagés
Accordion: Elastic-Depth Inference via Fixed-Prefix Layer Looping · arXiv:2610.32492
En termes simples
Accordion est une méthode Transformer qui permet à un modèle de langage d’utiliser cinq niveaux de calcul. Elle réutilise les mêmes poids et répète certaines couches pour les budgets élevés ; au budget le plus faible, elle n’en répète aucune.
Les auteurs ont comparé ses différents parcours sur les mêmes 37 tâches, qui portent sur les connaissances, le bon sens, le raisonnement, les mathématiques et le code. Le score moyen des cinq catégories était plus élevé au budget maximal que sur le parcours sans répétition. Ce résultat décrit le modèle et les tâches testés.
La recherche
Un modèle de langage peut avoir besoin de consacrer des quantités différentes de calcul selon les demandes. Entraîner et maintenir un modèle distinct pour chaque niveau coûte cher, tandis que l’entraînement conjoint de parcours de profondeurs différentes peut affaiblir le parcours le plus léger.
Un seul modèle peut-il proposer plusieurs budgets de calcul tout en gardant utile l’option la plus légère ?
Accordion est une méthode Transformer à poids partagés qui répète certaines couches pour proposer cinq budgets d’inférence.
Les auteurs comparent Accordion-Base à cinq budgets d’inférence, en gardant les mêmes poids du modèle, tâches, exemples et configurations d’évaluation.
Sur 37 tâches réparties en cinq catégories, la moyenne qui donne le même poids aux catégories passe de 47,05 sur le parcours sans répétition à 50,06 sur le parcours le plus profond ; les scores augmentent pour 36 tâches.
Une étude distincte, de plus petite taille et à quantité de jetons égale, trouve aussi que la perte de validation du modèle partagé est à moins de 0,0030 nat de celle de spécialistes distincts aux trois budgets testés. Ensemble, ces résultats étayent l’idée que des poids partagés peuvent proposer plusieurs niveaux de calcul testés tout en préservant la qualité sur les tâches mesurées.
Le résultat portant sur les 37 tâches est un agrégat descriptif. Des estimations d’incertitude appariées ont été rapportées pour une suite de référence distincte de 18 tâches ; elles ne quantifient donc pas l’incertitude associée au résultat complet sur 37 tâches.
Ce que montrent les preuves
- Un modèle, cinq budgets
Accordion est une méthode Transformer qui utilise les mêmes poids pour proposer cinq budgets d’inférence. Au budget le plus faible, le modèle suit le parcours ordinaire ; aux budgets supérieurs, il répète un préfixe de couches intermédiaires sélectionnées.
La méthode répond à un compromis lié à l’entraînement conjoint de parcours de profondeurs différentes : le modèle pourrait gagner une option plus profonde tout en perdant en qualité sur son parcours léger. Les auteurs cherchent à savoir si des parcours fixes partageant les mêmes poids peuvent préserver ces deux options sans entraîner un modèle distinct pour chaque budget.
- Choisir les couches à répéter
Pour choisir les couches à répéter, les auteurs ont comparé huit stratégies dans une étude de conception sur un modèle de 1,61 milliard de paramètres. Chaque configuration a été entraînée une fois sur 80 milliards de jetons, avec la même profondeur d’entraînement attendue, puis évaluée sur les mêmes textes Web mis de côté.
La sélection d’un préfixe fixe dans les couches 7 à 18 a présenté la perte de validation observée la plus faible à chaque budget de répétition et la moyenne la plus faible sur les cinq budgets. Chaque stratégie a été évaluée avec ses propres parcours d’entraînement et d’inférence.
- Vérifier le modèle partagé et son parcours léger
Une comparaison distincte a opposé un modèle partagé à des spécialistes, chacun entraîné pour un seul budget. Chaque modèle a reçu 80 milliards de jetons d’entraînement et, à chaque budget comparé, utilisait le même graphe d’inférence que les autres : la perte de validation du modèle partagé était à moins de 0,0030 nat de celle du spécialiste aux budgets 0, 6 et 12.
Un contrôle à quantité de jetons égale a également relevé une perte de validation moyenne inférieure avec l’échantillonnage uniforme des budgets qu’avec une configuration réservant des répliques au parcours sans répétition. Cette différence concerne spécifiquement la comparaison avec cette configuration de réservation.
- Plus de calcul, des scores plus élevés
Pour Accordion-Base, les auteurs ont modifié le parcours d’inférence tout en gardant les mêmes poids, tâches, exemples et configurations d’évaluation. Les 37 tâches évaluent les connaissances et les réponses aux questions, le bon sens, le raisonnement, les mathématiques et le code.
Le score calcule la moyenne des tâches dans chaque catégorie, puis donne le même poids aux moyennes des cinq catégories. Il passe de 47,05 au budget sans répétition à 50,06 au budget maximal ; les scores sont plus élevés pour 36 tâches sur 37.
- Réunir trois modèles spécialisés
La méthode a aussi conservé les cinq budgets d’inférence pendant le post-entraînement. Les auteurs ont combiné les mises à jour de modèles spécialisés dans le suivi d’instructions, les mathématiques et le code, puis entraîné un modèle élève sur ses propres réponses, avec des signaux au niveau des jetons fournis par le modèle du domaine correspondant au même budget.
Sur les cinq budgets, le modèle élève a dépassé chacun des modèles de domaine correspondants selon la moyenne à poids égal des tâches du domaine, et les trois intervalles appariés à 95 % étaient supérieurs à zéro. Le résultat concerne ces moyennes par domaine et les évaluations rapportées.
Détails
- Auteurs de l’article original
- Yudong Zhang, Wei Ding, Kaili Zheng, Yuchen Ding, Zhenyu Zhang
- Soumis à arXiv
- Licence
- CC BY 4.0