FR
Le décodage MoE figé peut sélectionner les canaux sans calibration
Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data · arXiv:2610.37386
En termes simples
Les modèles Mixture-of-experts envoient chaque jeton vers des réseaux spécialisés sélectionnés. Pendant la génération, lire tous les poids des experts retenus peut prendre du temps ; les sélecteurs de canaux ne calculent donc qu’une partie de ces canaux.
Cet article présente un lecteur qui s’appuie sur les poids du modèle pour choisir les canaux à calculer et estimer la contribution de ceux qu’il saute. Sur trois modèles et trois tests, le lecteur a conservé en moyenne 98,1 % de la précision du modèle complet sur neuf paires modèle-test, tout en lisant 17,8 % des poids des experts sélectionnés dans le modèle complet. Cette moyenne résume ces paires ; elle ne décrit pas chaque résultat.
La recherche
Un seuil calibré est censé donner aux sélecteurs de canaux un budget de lecture connu et améliorer la précision à ce budget.
Pourtant, pendant la génération, le nombre de canaux dépassant un seuil fixe peut varier selon l’entrée. La calibration apporte-t-elle l’un ou l’autre de ces avantages annoncés lors de l’évaluation de modèles MoE figés ?
Les auteurs comparent des seuils de score fixes à des nombres fixes de canaux, puis présentent un lecteur qui estime, à partir des poids seuls, la contribution des canaux ignorés.
Pour évaluer l’intérêt revendiqué de la calibration, les auteurs ont comparé le seuil de chaque sélecteur à la conservation des canaux les mieux classés selon le même score, au budget de lecture visé par le seuil. Top-k a fait jeu égal avec les seuils ou obtenu un meilleur score dans 40 des 43 comparaisons par paires, dont les 23 comparaisons sur des tâches de génération ; un cas de génération avec Gemma 4 a montré un échec grave du seuil.
Ces résultats n’indiquent aucun avantage de précision systématique de la calibration dans les comparaisons testées.
Les comparaisons de seuils portent sur les canaux de modèles MoE figés, aux budgets testés. Le lecteur a été évalué sur trois modèles post-entraînés comptant jusqu’à 35 milliards de paramètres, et ses noyaux de calcul ont été optimisés pour un type de GPU et un budget de lecture.
Ce que montrent les preuves
- Ce que la calibration devrait garantir
Les modèles Mixture-of-experts acheminent chaque jeton vers des réseaux spécialisés sélectionnés. Les sélecteurs de canaux réduisent le nombre de poids lus en ne calculant qu’une partie des canaux de ces experts.
Une approche courante fixe un seuil de score à partir d’exemples pour viser un budget de lecture donné. L’article demande si ce seuil permet réellement de respecter le budget et s’il améliore la précision par rapport à la conservation d’un nombre fixe de canaux bien classés.
- Le budget de lecture dérive
Un seuil de score fixe peut laisser passer un nombre différent de canaux selon les entrées et les jetons. Les auteurs ont mesuré les lectures réelles des experts sélectionnés pendant le décodage, en les exprimant comme part des lectures nécessaires au modèle complet.
Dans les 72 exécutions de Prox et du lecteur des auteurs avec des seuils calibrés, les lectures sont restées sous la cible à chaque fois. Pour Prox calibré à 18 %, la moyenne était de 12,9 % sur neuf paires modèle-test.
- Comparer la précision à règles égales
Pour isoler l’effet de la règle de sélection, les auteurs ont testé chaque sélecteur avec le même score, en appliquant son seuil calibré puis la sélection top-k, qui conserve un nombre fixe des canaux ayant les scores les plus élevés. Ils ont comparé la précision au budget cible du seuil.
Top-k a fait jeu égal avec le seuil ou l’a dépassé dans 40 des 43 comparaisons par paires, y compris les 23 comparaisons sur des tâches de génération ; une égalité signifie qu’aucun écart supérieur à deux erreurs standards calculées sur les paires n’a été détecté.
- Un échec et un nouveau lecteur
La comparaison globale révèle un cas aux conséquences nettes : lors d’un test de génération avec Gemma 4, Prox muni d’un seuil de canal calibré s’est mis à répéter des boucles, tandis que le remplacement du seuil par top-k, pour une part de lectures presque identique, a fortement augmenté la précision et réduit le nombre de réponses atteignant la limite de jetons.
Par ailleurs, l’article présente un lecteur fondé sur les poids du modèle ; sur trois modèles et trois tests, il a conservé en moyenne 98,1 % de la précision du modèle complet à 17,8 % du volume de lectures d’experts sélectionnés par le routeur nécessaire au modèle complet.
Détails
- Auteurs de l’article original
- Geunhyoung Kim, Sung Ju Hwang
- Soumis à arXiv
- Licence
- CC BY 4.0