IT
Il routing degli esperti resta stabile al variare dei tempi di copia
Prefetch-Steered Routing: Deterministic Cache-Aware Expert Selection for Offloaded Mixture-of-Experts Decoding · arXiv:2610.34721
In parole semplici
Alcuni modelli linguistici grandi conservano parti chiamate esperti nella memoria del computer perché la scheda grafica non può contenerle tutte. Mentre il modello genera ogni token, deve scegliere quali esperti usare; nel frattempo, alcune copie degli esperti possono essere ancora in viaggio.
Questo articolo presenta un metodo di routing che basa le scelte su un registro prevedibile degli esperti disponibili, invece che sulle copie arrivate in quel preciso momento. Nelle configurazioni testate, i risultati della predizione del testo sono rimasti uguali al variare dei tempi delle copie e nelle ripetizioni; velocità e punteggi delle attività hanno comunque variato in base al modello e al carico di lavoro.
La ricerca
Quando un modello sceglie gli esperti mentre i loro pesi vengono copiati sulla GPU, cambiare i tempi di trasferimento dovrebbe cambiare l’output del modello?
L’articolo verifica questa possibilità nel routing che tiene conto della cache: gli esperti già sulla GPU ricevono un bonus di selezione e il prefetch asincrono può influire su quali esperti sono considerati presenti.
PSR usa una cache logica deterministica e le previsioni del livello successivo per orientare il routing degli esperti, lasciando che i tempi delle copie influiscano solo sulla latenza.
Gli autori hanno verificato innanzitutto se le copie asincrone degli esperti possano cambiare i calcoli di un modello che tiene conto della cache. Nelle configurazioni Cache-Prior, il routing basato sulla cache fisica faceva variare la perplexity al cambiare del numero di copie in corso e tra esecuzioni.
Una cache logica ha mantenuto stabile la perplexity nelle stesse impostazioni testate dello scheduler, sostenendo una valutazione indipendente dai tempi in questa configurazione.
PSR usa quella cache logica e vi inserisce un numero limitato di esperti previsti dal router del livello successivo, assegnando loro un bonus nel routing mentre le copie vengono programmate separatamente. Su OLMoE, la latenza teacher-forced di PSR era inferiore a quella del routing esatto con LRU e di Cache-Prior a entrambi i livelli di presenza testati.
Le differenze medie nei punteggi appaiati rispetto a Cache-Prior erano contenute e incerte: i risultati sostengono un compromesso tra velocità e prestazioni in quelle misurazioni, non un’equivalenza o un miglioramento universali.
Le principali misurazioni della latenza usano testo in modalità teacher-forced ed escludono l’elaborazione del prompt; i risultati con generazione libera dipendono dal carico di lavoro e possono invertirsi.
Le valutazioni coprono tre modelli su una GPU, e la pressione sulla memoria di OLMoE è stata simulata.
Cosa mostrano le prove
- Il problema dei tempi
Prefetch-steered routing (PSR) è un metodo che tiene conto della cache per scegliere gli esperti durante la decodifica con batch di dimensione uno, quando i pesi degli esperti sono trasferiti alla memoria del computer host.
A ogni token si attivano alcuni esperti e i pesi mancanti devono essere copiati sulla GPU. Le copie asincrone possono avvenire mentre prosegue il calcolo, ma se il routing reagisce a quali copie sono arrivate, i tempi di trasferimento possono cambiare le scelte del modello. L’articolo chiede come valutare il routing in modo coerente quando i tempi influenzano le scelte.
- Uno stato della cache riproducibile
In Cache-Prior, il routing assegna un bonus di punteggio agli esperti presenti, mentre il motore può precaricare esperti in modo asincrono. Nelle configurazioni testate, gli autori hanno variato il numero di copie in corso e misurato la perplexity, che indica quanto bene il modello predice il testo nelle finestre testate.
Con il routing basato sulla cache fisica, la perplexity variava al cambiare delle impostazioni dello scheduler e tra esecuzioni ripetute. Con il routing basato sulla cache logica, è rimasta stabile nelle stesse impostazioni e ripetizioni: nel sistema testato, la valutazione può così evitare questa dipendenza dai tempi.
- Cosa cambia con PSR
PSR è il metodo proposto: le previsioni del router del livello successivo entrano in una cache logica deterministica, entro un limite fisso di inserimenti, e questi esperti possono ricevere un bonus nel routing. Il router continua a scegliere gli esperti, mentre il motore programma separatamente le copie fisiche.
Gli autori hanno confrontato PSR con il routing esatto e una cache least-recently-used e con Cache-Prior. Su OLMoE, PSR ha avuto una latenza teacher-forced inferiore a entrambe le alternative con il 50% e il 25% degli esperti presenti; la differenza media nei punteggi appaiati rispetto a Cache-Prior era contenuta e gli intervalli di incertezza comprendevano lo zero.
- Un secondo modello con offloading
I test delle attività hanno misurato le prestazioni su domande e prompt di conoscenza, ragionamento, matematica, rispetto delle istruzioni e programmazione. Su Moonlight, dove gli esperti dovevano davvero essere trasferiti fuori dalla GPU, PSR è stato più veloce del routing esatto con cache least-recently-used; a una latenza simile a quella di Cache-Prior, ha ottenuto una media più alta sulle otto attività, con miglioramenti corretti su tre e nessuna perdita significativa.
Questo sostiene il trasferimento del risultato al modello testato, ma lascia aperti gli esiti su altri modelli e sulle singole attività.
- Dove si ferma il vantaggio di velocità
Il vantaggio di velocità dipendeva dall’equilibrio tra trasferimenti e calcolo. Su Qwen3.6, dove copiare gli esperti costava relativamente poco, PSR e Cache-Prior hanno avuto una latenza teacher-forced simile, anche se PSR ha mostrato una divergenza inferiore rispetto al routing esatto e miglioramenti in due attività di conoscenza o ragionamento.
Anche la latenza in generazione libera variava tra gruppi di prompt: su OLMoE con il 50% degli esperti presenti, PSR era più lento su HumanEval, pur essendo più veloce su GSM8K e IFEval.
Dettagli
- Autori del paper originale
- Siming Huang
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive