FR
Un planificateur détermine où fusionner le travail GPU des modèles en flux continu
One Megakernel is Not Enough: Predicting Where to Cut for Streaming Inference · arXiv:2610.35336
En termes simples
Les modèles en flux continu produisent leurs résultats par étapes, et chaque étape peut mieux fonctionner avec des réglages différents du GPU. Regrouper des étapes dans un noyau persistant peut réduire le coût des lancements, mais les réunir toutes dans un seul grand noyau peut aussi être un mauvais choix.
L’article présente un planificateur qui s’appuie sur des mesures existantes et simule le moment où les étapes peuvent s’exécuter et émettre un résultat afin de décider où les regrouper. Sur un GPU, il a choisi la conception mesurée la plus rapide dans les 13 cas testés de modèles et de tailles de lot, parmi les conceptions que les auteurs avaient implémentées et vérifiées.
La recherche
Quand un modèle en flux continu produit son premier résultat, comment faut-il regrouper ses phases sur le GPU ? Les phases peuvent avancer à des vitesses différentes et préférer des configurations de lancement différentes, et l’émission peut dépendre du travail de plusieurs phases. Les seules étapes du modèle ne suffisent donc pas à déterminer où placer les frontières de fusion.
Le planificateur combine des profils existants, des mesures compatibles de noyaux GPU et une simulation des dépendances d’émission pour classer les conceptions de fusion prises en charge sans toutes les mesurer de bout en bout.
Le planificateur combine des profils existants, des mesures compatibles de noyaux GPU et une simulation des dépendances d’émission pour classer les conceptions de fusion prises en charge sans mesurer chacune de bout en bout.
Sur un GPU H100 NVL, son choix figé correspondait à la conception mesurée la plus rapide dans les 13 cas testés de modèles et de tailles de lot, en comparant les conceptions implémentées et qualifiées pour chaque modèle. Ce résultat étaye la méthode de classement à l’intérieur de ces ensembles de validation.
Le résultat de 13 sélections sur 13 concerne les conceptions que les auteurs ont implémentées et qualifiées sur un GPU H100 NVL. Il ne détermine pas la meilleure option parmi les conceptions non mesurées ni sur d’autres architectures de GPU.
Ce que montrent les preuves
- La fusion dépend du découpage
Le planificateur de frontières qui tient compte de la première émission sert à choisir quelles régions contiguës d’un modèle en flux continu fusionner dans des mégakernels, lesquelles exécuter de façon classique et comment les régions se partagent le GPU.
Cette question compte parce que les phases peuvent avancer à des vitesses différentes et préférer des configurations de lancement différentes, tandis que le premier résultat peut dépendre de plusieurs phases. Le choix des frontières influe donc à la fois sur l’utilisation des ressources du GPU et sur le moment où un résultat peut être émis.
- Classer les compositions prises en charge
Au lieu de mesurer chaque conception complète, le planificateur combine des profils d’exécution classique, des mesures d’opérateurs ou d’étapes et des détails d’implémentation déclarés dans le code source. Il utilise les mesures compatibles pour estimer les coûts d’exécution, construit des compositions prises en charge et simule le déroulement des tâches et leurs dépendances d’émission.
Les options sans données de coût compatibles sont écartées : le classement ne porte donc que sur les conceptions que le planificateur peut prendre en charge.
- Trois mégakernels gagnent dans un cas mesuré
La comparaison sur NH-TTS, à la taille de lot 32, montre pourquoi l’étendue de la fusion et le chevauchement comptent tous deux. Sur un GPU H100 NVL, une conception à trois mégakernels avec des tâches qui se chevauchent a émis le premier audio 4,05 fois plus tôt que l’exécution TensorRT classique et 21,4 % plus tôt qu’un mégakernel unique.
Dans ce cas, ni l’exécution classique ni la fusion de tout le modèle ne donnaient la conception testée la plus rapide.
- Les choix correspondent aux meilleurs résultats mesurés
Les auteurs ont testé 13 cas de modèles et de tailles de lot, sur trois modèles et trois environnements logiciels, avec un GPU H100 NVL. Dans chaque cas, le choix figé du planificateur correspondait à la conception mesurée la plus rapide de l’ensemble de validation implémenté et qualifié pour ce modèle.
Cela étaye sa capacité à choisir parmi les options mesurées de ces ensembles, sans montrer qu’ils contenaient toutes les compositions possibles.
- Le chevauchement et la taille du lot comptent
Deux comparaisons contrôlées ont conservé les mêmes coûts d’exécution et les mêmes options, mais remplacé la simulation des événements par un score additif ou supprimé le chevauchement. Chacune a retrouvé 11 meilleurs résultats mesurés sur 13, en manquant NH-TTS aux tailles de lot 32 et 64, où elle a choisi une exécution en série.
Par ailleurs, Qwen3-TTS favorisait quatre mégakernels jusqu’à la taille 32, mais l’exécution classique aux tailles 48 et 64. Ces résultats étayent l’idée que l’intérêt du chevauchement et l’étendue de fusion appropriée dépendent du cas.
Détails
- Auteurs de l’article original
- Aditya Chatterjee, Anand Joseph X M, Sanjay Singh Chauhan
- Soumis à arXiv
- Licence
- CC BY 4.0