FR
En termes simples
L’article présente Evolving Agent Teams, une façon d’organiser des agents de programmation qui écrivent des programmes pour GPU. Un superviseur observe leur progression et peut changer la répartition des rôles et leur manière de partager les informations.
Un système de fichiers partagé transmet les travaux et les enseignements d’une configuration d’équipe à la suivante. Les auteurs ont évalué le système sur quatre tâches d’optimisation de GPU kernels.
À budget de jetons identique, les équipes évolutives ont surpassé un agent de programmation unique pour chaque tâche. Cela ne signifie toutefois pas qu’elles ont été plus rapides sur chaque charge de travail prise séparément.
La recherche
Lorsqu’ils travaillent sur un GPU kernel difficile, les agents de programmation peuvent s’en tenir à une conception plus facile et cesser d’explorer des options plus exigeantes. Une équipe qui change au fil du travail peut-elle l’aider à dépasser ce plateau ? L’article examine cette question sur quatre tâches d’optimisation de noyaux.
Evolving Agent Teams utilise un superviseur pour réorganiser les rôles et la coordination des agents de programmation au fil de l’optimisation de GPU kernels, en s’appuyant sur des archives persistantes.
Les auteurs ont comparé Evolving Agent Teams à Claude Code, un agent de programmation unique, sur quatre tâches d’optimisation de GPU kernels. Les deux méthodes ont reçu la même description de tâche, le même noyau de référence, le même banc de test et le même budget de jetons ; pour chaque réglage, le résultat rapporté est le meilleur de deux exécutions.
L’équipe évolutive a surpassé Claude Code sur les quatre tâches. Pour le décodage paginé MLA, une exécution avec un budget supplémentaire a atteint une accélération moyenne géométrique de 1.21x par rapport à FlashInfer en production, sur 47 charges de travail de production.
La mesure combine les rapports de latence entre la référence et le noyau testé ; une valeur supérieure à 1 indique de meilleures performances agrégées. La conclusion reste circonscrite : selon cette mesure, l’équipe a produit un noyau plus rapide, mais pas nécessairement sur chaque charge de travail.
Les principaux réglages ont été exécutés deux fois, et l’article rapporte le meilleur résultat de chaque paire. Certaines charges de travail peuvent rester plus lentes que leur référence en production. Le nombre d’exécutions limite aussi les conclusions statistiques.
Ce que montrent les preuves
- Le risque de s’en tenir au plus facile
Evolving Agent Teams est un cadre qui utilise des agents de programmation pour optimiser des GPU kernels. L’article demande si une équipe capable de changer d’organisation pendant une tâche peut surmonter une difficulté récurrente : les agents peuvent s’en tenir à une conception plus facile et cesser d’explorer des options plus difficiles.
Les auteurs illustrent ce problème dans l’optimisation de noyaux ; les résultats portent donc sur ces tâches, et non sur les agents de programmation en général.
- Une équipe qui s’adapte
Le cadre confie à un superviseur le suivi des progrès de l’équipe et l’analyse des plateaux apparents. Il peut ensuite modifier les rôles, la coordination entre agents ou la façon dont ils consignent et partagent leurs connaissances.
Un système de fichiers persistant transmet les observations et les éléments produits aux configurations suivantes, de sorte que les changements s’appuient sur le travail déjà réalisé.
- La comparaison principale
L’évaluation principale porte sur quatre tâches d’optimisation de GPU kernels exécutées sur des GPU B200 et H100. À budget de jetons identique, Evolving Agent Teams a surpassé Claude Code, un agent de programmation unique, pour chacune des tâches.
Pour chaque réglage, les auteurs rapportent le meilleur résultat de deux exécutions. Cette comparaison constitue donc un résultat sur les tâches testées, et non une garantie valable pour toutes les charges de travail ou des essais répétés.
- Un résultat face au noyau de production
Pour le décodage paginé MLA, une exécution avec un budget supplémentaire a atteint une accélération moyenne géométrique de 1.21x par rapport à FlashInfer en production, sur 47 charges de travail de production. Cette mesure combine les rapports de latence entre la référence et le noyau testé ; une valeur supérieure à 1 indique de meilleures performances agrégées.
Le résultat indique que le noyau de l’équipe a dépassé la référence de production selon cette mesure, même si certaines charges individuelles peuvent rester plus lentes.
- Des résultats à interpréter dans leur cadre
Sur le décodage MLA, une équipe fixe de quatre rôles a atteint une accélération de 0.31x, contre 0.74x pour l’équipe évolutive, ce qui suggère que l’adaptation peut aider. Cependant, les passages de la source divergent sur la version du modèle et ne précisent pas que les budgets de jetons de cette ablation étaient identiques.
Par ailleurs, lors de la meilleure exécution à budget contrôlé pour Gated Delta Net, 43 des 100 charges étaient plus lentes que la référence, et chaque réglage principal n’a été exécuté que deux fois.
Détails
- Auteurs de l’article original
- Shiyi Cao, Ziming Mao, Dacheng Li, Joseph E. Gonzalez, Ion Stoica
- Soumis à arXiv
- Licence
- arXiv non-exclusive