FR
CRISP associe élagage et ordonnancement pour les MoE en périphérie
CRISP: Co-designing Pruning and Scheduling for Efficient MoE Inference on Edge Servers · arXiv:2610.37442
En termes simples
Certains modèles de langue choisissent quelques réseaux experts pour chaque morceau de texte. Sur un appareil de petite taille, le modèle doit parfois récupérer les poids des experts en mémoire, une opération qui peut prendre plus de temps que le calcul lui-même.
CRISP étudie quelles paires d’experts sont souvent utilisées et lequel compte davantage dans chaque paire. Le système conserve une plus grande part des experts les plus importants et coordonne leur chargement avec le calcul.
Dans la comparaison publiée, sur Mixtral-8x7B avec un cache pouvant contenir 10 % des poids des experts, il a généré des jetons plus rapidement que MoE-Offload.
La recherche
Lorsque les poids des experts ne tiennent pas tous dans la mémoire GPU d’un appareil, les récupérer peut prendre plus de temps que les calculs eux-mêmes.
On ne sait pas encore clairement si un système peut réduire ces transferts tout en conservant davantage de capacité pour les combinaisons d’experts et les experts individuels les plus importants.
CRISP attribue davantage de capacité aux experts souvent utilisés et influents, puis coordonne leur chargement avec le calcul afin de réduire les transferts de données pendant l’inférence en périphérie.
CRISP s’appuie sur la fréquence des combinaisons et le rôle des experts pour choisir quelle part de chaque expert exécuter. Il ordonnance ensuite les experts les plus larges afin que leur calcul puisse se dérouler en parallèle du chargement des experts plus étroits.
Sur Mixtral-8x7B avec un cache limité à 10 % de la taille totale des experts, les chercheurs ont mesuré un débit de 8,3 jetons générés par seconde pour CRISP et de 3,9 pour MoE-Offload, qui ordonnance les entrées-sorties sans élagage différencié. Ce résultat indique un débit supérieur pour CRISP dans cette configuration.
La comparaison du débit porte sur Mixtral-8x7B avec un cache limité à 10 % de la taille totale des experts ; le résultat cité ne précise pas la plateforme de test. L’évaluation a couvert deux modèles, deux plateformes et des charges de travail définies. Le profilage de CRISP peut devoir être actualisé si le modèle ou la charge de travail change.
Ce que montrent les preuves
- Le coût d’accès aux experts
CRISP est un cadre d’inférence en périphérie qui conçoit conjointement l’élagage des experts et l’ordonnancement à l’exécution pour les modèles Mixture-of-Experts. Ces modèles dirigent chaque jeton vers un sous-ensemble d’experts, mais comme ce routage dépend du texte d’entrée, les poids de tous les experts doivent rester accessibles.
Lorsqu’ils ne tiennent pas dans la mémoire GPU, leur chargement depuis la mémoire hôte peut dominer le temps d’inférence. La recherche demande comment réduire ces transferts sans traiter toutes les combinaisons d’experts de la même façon.
- Les combinaisons sont utilisées de façon inégale
Les chercheurs ont établi un profil de Mixtral-8x7B à partir de 2 048 séquences échantillonnées dans l’ensemble de validation C4. Les 25 % de combinaisons d’experts les plus utilisées ont traité plus de 60 % des activations de jetons, tandis que les 29 % les moins utilisées en ont traité moins de 10 %.
Cette répartition inégale laisse penser qu’attribuer la même capacité du modèle à chaque combinaison peut consacrer des transferts de poids à des combinaisons qui servent relativement peu de jetons. Les combinaisons fréquentes varient selon la couche du modèle.
- Les experts n’ont pas tous le même poids
La fréquence ne suffit pas à décrire le rôle de chaque expert. Dans une comparaison par masquage, les chercheurs ont remplacé tour à tour la sortie de chaque expert par des zéros et mesuré la hausse de la perplexité.
Pour l’ensemble des combinaisons, masquer l’expert désigné comme dominant a augmenté la perplexité de 2,64 en moyenne, contre 0,71 pour l’expert auxiliaire. Cette moyenne indique des effets mesurés inégaux d’une combinaison à l’autre, et non une différence fixe pour chaque paire.
- Adapter la capacité et l’ordonnancement
CRISP s’appuie sur ces tendances pour attribuer différentes largeurs d’exécution : dans les combinaisons fréquentes, les deux experts sont exécutés à pleine largeur ; dans les combinaisons moyennement fréquentes, l’expert auxiliaire fonctionne à moitié largeur ; dans les combinaisons rares, il est ignoré.
Les neurones sont réordonnés selon leur importance afin qu’une exécution plus étroite puisse utiliser le début d’une seule copie stockée de l’expert. Pendant l’inférence, l’ordonnanceur lance d’abord les experts les plus larges et fait chevaucher leur calcul avec le chargement des experts plus étroits.
- Un gain de débit dans un cadre précis
Avec un cache limité à 10 % de la taille totale des experts, Mixtral-8x7B a généré 8,3 jetons par seconde avec CRISP et 3,9 avec MoE-Offload, qui ordonnance les entrées-sorties sans élagage différencié.
Le résultat montre un débit de génération de jetons supérieur pour CRISP dans cette configuration évaluée. Il n’établit pas le même gain pour d’autres modèles ou capacités de cache, et cette comparaison de systèmes complets ne permet pas de déterminer quelle composante explique l’écart.
Détails
- Auteurs de l’article original
- Congwei Zhang, Youming Tao, Yifei Zou, Yu Yang, Ruirui Zhang
- Soumis à arXiv
- Licence
- CC BY 4.0