FR
HyScale accélère l’entraînement sur un million de tokens pour l’attention creuse
HyScale: Scaling Long-Context Training for Learned Sparse Attention · arXiv:2610.32057
En termes simples
Certains systèmes d’IA ne tiennent compte que de quelques mots précédents, mais trouver lesquels peut prendre beaucoup de temps quand le texte est très long. HyScale est un système d’entraînement qui repère ces mots pendant le calcul de leurs scores et conserve ses choix pour ne pas avoir à refaire ce travail pendant l’entraînement.
Dans la configuration testée, HyScale a entraîné GLM-5.1 sur des séquences d’un million de tokens 2,07 fois plus vite que Megatron-LM. Ce résultat concerne le modèle et les 512 GPU H20 décrits dans l’étude.
La recherche
Quand un système d’attention n’utilise que quelques éléments d’une très longue séquence, pourquoi leur recherche peut-elle tout de même prendre autant de temps pendant l’entraînement ?
Dans la configuration GLM-5.1 mesurée, la sélection représentait presque la moitié d’une étape d’entraînement, ce qui offrait une possibilité concrète de réduire le coût de l’entraînement sur de longs contextes.
HyScale combine la sélection à la volée et la réutilisation des choix lors du recalcul pour réduire le coût de l’entraînement de l’attention creuse apprise sur de longues séquences.
HyScale modifie la sélection de deux façons : le système choisit les éléments pendant le calcul de leurs scores, puis réutilise les indices retenus lors du recalcul. Il évite ainsi d’écrire un tableau complet de scores dans la mémoire du GPU et de répéter toute la recherche. Le système comprend aussi des optimisations pour l’entraînement sur de longs contextes.
Lors d’une comparaison de l’entraînement complet de GLM-5.1 à partir des poids publiés, HyScale est 2,07 fois plus rapide que Megatron-LM sur des séquences d’un million de tokens avec 512 GPU H20. Une ablation distincte sur une couche attribue la majeure partie de la réduction mesurée du temps de couche aux deux méthodes de sélection.
Ces mesures étayent l’idée que réduire le travail de sélection contribue largement aux gains dans les configurations testées.
Ces résultats étayent une accélération de l’entraînement et de l’exécution des couches dans les configurations étudiées. Ils n’établissent pas que les mêmes gains de vitesse ou la même qualité d’entraînement seront obtenus avec d’autres modèles, longueurs de séquence ou matériels.
Ce que montrent les preuves
- La sélection devient le goulot d’étranglement
HyScale est un système d’entraînement sur de longs contextes pour l’attention creuse apprise, qui sélectionne quelques éléments antérieurs pour chaque requête. La question est de savoir si l’entraînement peut éviter de passer plus de temps à sélectionner les éléments qu’à les utiliser.
Dans la configuration Megatron-LM mesurée, avec un million de tokens, la sélection représentait 47 % d’une étape d’entraînement de GLM-5.1, hors attente du pipeline, et durait 6,6 fois plus longtemps que l’attention creuse.
- Sélectionner pendant le calcul des scores
La méthode HyTopK de HyScale estime un seuil à partir de clés réparties à intervalles réguliers dans le contexte de chaque requête. Elle filtre les scores à mesure qu’ils sont calculés, ce qui évite de stocker un tableau complet dans la mémoire du GPU, puis sélectionne parmi les candidats les k éléments ayant les meilleurs scores.
Comme l’estimation peut échouer, le système repère les requêtes qui ont trop peu de candidats ou un dépassement, puis recalcule les scores sur tout leur contexte, sur le GPU.
- Réutiliser les sélections pendant l’entraînement
La réutilisation des sélections répond à un deuxième coût : le recalcul des activations peut répéter toute la recherche. HyScale enregistre les indices sélectionnés pendant la passe avant et s’en sert pour recalculer les scores des seuls éléments retenus.
Cela convient à la passe arrière, qui a besoin des éléments sélectionnés et de leurs scores, mais pas d’une nouvelle recherche dans tout le contexte.
- Les gains sur une couche se retrouvent dans l’entraînement complet
Dans une ablation cumulative portant sur une seule couche d’attention de GLM-5.1 avec un million de tokens, HyTopK et la réutilisation des sélections représentent 84 % de la réduction mesurée de 66 % du temps passé par Megatron-LM dans la couche ; les optimisations d’implémentation représentent les 11 % restants du temps initial de la couche.
Pour l’entraînement complet de GLM-5.1 sur 512 GPU H20, HyScale est 2,07 fois plus rapide avec un million de tokens. L’ablation de la couche et la comparaison de bout en bout portent sur des périmètres différents.
- Deux autres tests de couches
Les auteurs comparent aussi des couches d’attention individuelles de deux architectures par blocs avec leurs implémentations Megatron-LM. Avec un million de tokens sur 32 GPU H800, HyScale exécute la couche CSA de DeepSeek-V4-Flash 2,01 fois plus vite et la couche QSA de Qwen3.8-Flash-Next 1,57 fois plus vite.
Ces résultats mesurent des gains dans les couches testées ; ils ne montrent pas de gains de vitesse sur l’entraînement complet de ces deux modèles.
Détails
- Auteurs de l’article original
- Yangsheng Deng, Xinjing Huang, Yulong Wang, Yunzhuo Liu, Jun Hu
- Soumis à arXiv
- Licence
- arXiv non-exclusive