HyScale accelera l’addestramento con un milione di token per l’attenzione sparsa
HyScale: Scaling Long-Context Training for Learned Sparse Attention · arXiv:2610.32057
In parole semplici
Alcuni sistemi di AI scelgono solo poche parole precedenti a cui prestare attenzione. Quando il testo è molto lungo, però, trovare quelle parole può richiedere parecchio tempo.
HyScale è un sistema di addestramento che trova le parole mentre ne calcola i punteggi e salva le scelte, così non deve ripetere la ricerca durante l’addestramento. Nella configurazione misurata, HyScale ha addestrato GLM-5.1 su sequenze da un milione di token 2.07 volte più velocemente di Megatron-LM. Il risultato vale per il modello e le 512 GPU H20 descritti.
La ricerca
Quando un sistema di attenzione usa solo poche voci di una sequenza molto lunga, perché trovare quelle voci può comunque assorbire tanto tempo di addestramento?
Nella configurazione di GLM-5.1 misurata, la selezione occupava quasi metà di un passo di addestramento: un’opportunità concreta per ridurre il costo dell’addestramento su contesti lunghi.
HyScale combina la selezione al volo e il riuso durante il ricalcolo per ridurre il costo di addestramento dell’attenzione sparsa appresa su sequenze lunghe.
HyScale introduce due modifiche alla selezione: sceglie le voci mentre ne calcola i punteggi, poi riutilizza gli indici scelti durante il ricalcolo. Così evita di scrivere in memoria GPU una tabella completa dei punteggi e di ripetere l’intera scansione di selezione. Il sistema include anche ottimizzazioni per l’addestramento su contesti lunghi.
Nel confronto sull’addestramento completo di GLM-5.1 a partire dai pesi rilasciati, HyScale è 2.07 volte più veloce di Megatron-LM su sequenze da un milione di token, usando 512 GPU H20. Un’ablazione separata sui layer attribuisce la maggior parte del risparmio di tempo misurato ai due metodi di selezione.
Questo supporta la conclusione che, nelle configurazioni testate, ridurre il lavoro di selezione contribuisce in modo sostanziale ai miglioramenti.
Questi risultati supportano un addestramento più rapido e l’esecuzione più veloce dei layer nelle configurazioni descritte. Non dimostrano che gli stessi miglioramenti di velocità o la stessa qualità di addestramento valgano per altri modelli, lunghezze di sequenza o hardware.
Cosa mostrano le prove
- La selezione è il collo di bottiglia
HyScale è un sistema per addestrare modelli su contesti lunghi con attenzione sparsa appresa, che seleziona alcune voci precedenti per ogni query. La domanda è se l’addestramento possa evitare di dedicare più tempo alla selezione che all’uso di quelle voci.
Nella configurazione Megatron-LM misurata, con un milione di token la selezione occupava il 47% di un passo di addestramento di GLM-5.1, senza contare l’attesa della pipeline, e richiedeva 6.6 volte il tempo dell’attenzione sparsa.
- Selezionare durante il calcolo dei punteggi
HyTopK, il metodo di HyScale, stima una soglia usando chiavi distribuite a intervalli regolari nel contesto di ciascuna query.
Filtra i punteggi mentre li calcola, evitando una tabella completa in memoria GPU, e poi sceglie tra i candidati le esatte voci top-k. Poiché la stima può non bastare, il sistema rileva le query con troppo pochi candidati o con un overflow e ne esamina di nuovo l’intero contesto sulla GPU.
- Riutilizzare le selezioni durante l’addestramento
Il riuso della selezione affronta un secondo costo: il ricalcolo delle attivazioni può ripetere l’intera scansione di selezione. HyScale salva gli indici selezionati durante il passaggio in avanti e li usa per ricalcolare solo i punteggi di quelle voci.
Questo è sufficiente per il passaggio all’indietro, che richiede le voci selezionate e i relativi punteggi, non una nuova ricerca nell’intero contesto.
- I miglioramenti del layer si riflettono nell’addestramento completo
In un’ablazione cumulativa su un layer di attenzione di GLM-5.1 con un milione di token, HyTopK e il riuso della selezione rappresentano l’84% della riduzione misurata del 66% nel tempo del layer rispetto a Megatron-LM; le ottimizzazioni d’implementazione rappresentano l’altro 11% del tempo del layer nella configurazione di base.
Nell’addestramento completo di GLM-5.1 su 512 GPU H20, HyScale è 2.07 volte più veloce con un milione di token. L’ablazione del layer e il confronto end-to-end misurano aspetti diversi.
- Altri due test sui layer
Gli autori confrontano anche singoli layer di attenzione di due architetture a blocchi con le rispettive implementazioni Megatron-LM. Con un milione di token su 32 GPU H800, HyScale esegue il layer CSA di DeepSeek-V4-Flash 2.01 volte più velocemente e il layer QSA di Qwen3.8-Flash-Next 1.57 volte più velocemente.
Sono miglioramenti misurati in quei test sui layer, non nell’addestramento completo dei due modelli.
Dettagli
- Autori del paper originale
- Yangsheng Deng, Xinjing Huang, Yulong Wang, Yunzhuo Liu, Jun Hu
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive