FR
Le routage des experts reste stable malgré le calendrier des copies
Prefetch-Steered Routing: Deterministic Cache-Aware Expert Selection for Offloaded Mixture-of-Experts Decoding · arXiv:2610.34721
En termes simples
Certains grands modèles de langage gardent des parties appelées experts dans la mémoire de l’ordinateur, car la carte graphique ne peut pas toutes les contenir. À mesure qu’il écrit chaque token, le modèle doit choisir des experts alors que leurs copies peuvent encore être en route.
Cet article présente une méthode de routage qui fonde ces choix sur un registre prévisible des experts disponibles, plutôt que sur les copies déjà arrivées à un instant donné. Dans les configurations testées, les résultats de prédiction du texte sont ainsi restés identiques malgré les changements de calendrier des copies et les exécutions répétées. La vitesse et les scores aux tâches variaient toutefois selon le modèle et la charge de travail.
La recherche
Quand un modèle choisit des experts pendant que leurs poids sont copiés vers le GPU, le changement du calendrier des transferts devrait-il modifier sa sortie ?
L’article teste cette question dans un mécanisme de routage tenant compte du cache : les experts déjà présents sur le GPU reçoivent un bonus de sélection et le préchargement asynchrone peut influer sur ceux considérés comme disponibles.
PSR s’appuie sur un cache logique déterministe et des prédictions de la couche suivante pour guider le routage des experts, tandis que le calendrier des copies ne joue que sur la latence.
Les auteurs ont d’abord vérifié si les copies asynchrones d’experts pouvaient modifier les calculs d’un modèle tenant compte du cache. Dans les configurations Cache-Prior, le routage fondé sur le cache physique faisait varier la perplexité selon le nombre de copies en cours et d’une exécution à l’autre.
Un cache logique a maintenu la perplexité fixe pour ces mêmes réglages du moteur testés, ce qui étaye une évaluation indépendante du calendrier dans cette configuration.
PSR utilise ce cache logique et y insère un nombre limité d’experts prédits par le routeur de la couche suivante. Il leur accorde un bonus de routage tandis que les copies sont planifiées séparément.
Sur OLMoE, la latence de PSR avec texte imposé à chaque étape était inférieure à celle du routage exact avec LRU et de Cache-Prior aux deux niveaux de présence testés. Les écarts moyens de scores appariés aux tâches par rapport à Cache-Prior étaient faibles et incertains.
Ces mesures étayent un compromis entre vitesse et scores dans les conditions testées ; elles n’établissent ni une équivalence ni une amélioration universelle.
Les principales mesures de latence utilisent du texte imposé à chaque étape et excluent le traitement du prompt.
Les résultats en génération libre dépendent de la charge de travail et peuvent s’inverser. Les évaluations portent sur trois modèles et un seul GPU ; la pression mémoire d’OLMoE a été simulée.
Ce que montrent les preuves
- Le problème du calendrier
Prefetch-steered routing (PSR) est une méthode qui tient compte du cache pour choisir les experts pendant le décodage par lots de taille un, lorsque leurs poids sont déportés dans la mémoire de l’hôte. Chaque token active des experts ; les poids manquants doivent être copiés vers le GPU.
Les copies asynchrones peuvent se faire en même temps que les calculs, mais si le routage dépend des copies déjà arrivées, le calendrier des transferts peut modifier les choix du modèle. L’article examine comment évaluer le routage de façon cohérente lorsque le calendrier influe sur les choix.
- Un état de cache reproductible
Dans Cache-Prior, le routage accorde un bonus aux experts présents, tandis que le moteur peut précharger des experts de façon asynchrone. Dans les configurations testées, les auteurs ont fait varier le nombre de copies en cours et mesuré la perplexité, qui indique la capacité du modèle à prédire du texte sur les séquences testées.
Avec le routage fondé sur le cache physique, la perplexité variait selon les réglages du moteur et d’une exécution à l’autre. Avec le cache logique, elle est restée fixe pour ces mêmes réglages et exécutions : l’évaluation peut ainsi éviter cette dépendance au calendrier dans la configuration testée.
- Ce que PSR change
PSR est la méthode proposée : un nombre limité de prédictions du routeur de la couche suivante est inséré dans un cache logique déterministe, ce qui rend les experts concernés admissibles à un bonus de routage. Le routeur choisit toujours les experts ; le moteur planifie séparément leurs copies physiques.
Les auteurs l’ont comparé au routage exact avec un cache LRU (éviction de l’expert utilisé le moins récemment) et à Cache-Prior. Sur OLMoE, la latence de PSR avec texte imposé à chaque étape était plus faible que celle des deux autres méthodes avec 50% et 25% des experts présents.
L’écart moyen de ses scores appariés aux tâches par rapport à Cache-Prior était faible, et les intervalles d’incertitude incluaient zéro.
- Un deuxième modèle avec experts déportés
Les tests ont évalué les performances sur des questions et prompts portant sur les connaissances, le raisonnement, les mathématiques, le suivi d’instructions et le code. Sur Moonlight, où les experts devaient réellement être déportés, PSR était plus rapide que le routage exact avec un cache LRU.
À une latence proche de celle de Cache-Prior, son score moyen sur huit tâches était supérieur, avec des gains corrigés sur trois tâches et aucune baisse significative. Ces résultats étayent un transfert à ce modèle testé, mais ne permettent pas de conclure pour d’autres modèles ou chaque tâche prise individuellement.
- Où l’avantage de vitesse s’arrête
L’avantage de vitesse dépendait de l’équilibre entre le temps de copie et les calculs. Sur Qwen3.6, où les copies d’experts étaient relativement peu coûteuses, PSR et Cache-Prior avaient des latences similaires avec texte imposé à chaque étape, même si PSR présentait une divergence plus faible par rapport au routage exact et de meilleurs scores sur deux tâches de connaissances ou de raisonnement.
La latence en génération libre variait aussi selon les ensembles de prompts : sur OLMoE avec 50% des experts présents, PSR était plus lent sur HumanEval, malgré sa vitesse supérieure sur GSM8K et IFEval.
Détails
- Auteurs de l’article original
- Siming Huang
- Soumis à arXiv
- Licence
- arXiv non-exclusive