IT
CRISP coordina pruning e scheduling per i modelli MoE edge
CRISP: Co-designing Pruning and Scheduling for Efficient MoE Inference on Edge Servers · arXiv:2610.37442
In parole semplici
Alcuni modelli linguistici scelgono poche reti esperte per ogni parte del testo. Su un dispositivo piccolo, il modello può dover caricare dalla memoria i pesi di queste reti, e il caricamento può durare più del calcolo.
CRISP misura quali coppie di esperti vengono usate spesso e quale esperto conta di più in ciascuna coppia. Mantiene più capacità per gli esperti che contano maggiormente e ne pianifica il caricamento mentre avvengono i calcoli.
Nel confronto riportato, su Mixtral-8x7B con una cache pari al 10% dei pesi degli esperti, ha generato token più rapidamente di MoE-Offload.
La ricerca
Quando i pesi degli esperti non entrano tutti nella memoria GPU del dispositivo, recuperarli può richiedere più tempo che eseguire i calcoli.
Resta da capire se un sistema possa ridurre questo costo mantenendo più capacità del modello per le combinazioni di esperti e i singoli esperti che contano maggiormente.
CRISP assegna più capacità agli esperti influenti e usati spesso, e ne sovrappone il caricamento ai calcoli per ridurre lo spostamento dei dati nell’inferenza edge.
CRISP usa la frequenza delle combinazioni e il ruolo degli esperti per decidere quanta parte di ciascun esperto eseguire; poi pianifica gli esperti più larghi in modo che i loro calcoli si sovrappongano al caricamento di quelli più stretti.
Su Mixtral-8x7B, con spazio cache limitato al 10% della dimensione totale degli esperti, i ricercatori hanno misurato 8,3 token generati al secondo per CRISP e 3,9 per MoE-Offload, che pianifica l’I/O senza pruning differenziato. Il risultato supporta un throughput maggiore per CRISP in questa impostazione.
Il confronto del throughput riguarda Mixtral-8x7B con spazio cache pari al 10% della dimensione totale degli esperti; il risultato citato non specifica quale piattaforma di test sia stata usata. La valutazione ha incluso due modelli, due piattaforme e carichi di lavoro specifici.
La profilazione di CRISP può dover essere aggiornata quando cambia il modello o il carico di lavoro.
Cosa mostrano le prove
- Il costo di accesso agli esperti
CRISP è un framework per l’inferenza edge che progetta insieme il pruning degli esperti e la pianificazione in esecuzione per i modelli mixture-of-experts. Questi modelli instradano ogni token verso un sottoinsieme di esperti, ma poiché l’instradamento dipende dall’input, i pesi di tutti gli esperti devono restare accessibili.
Se non entrano nella memoria GPU, caricarli dalla memoria host può dominare il tempo di inferenza. La ricerca chiede come ridurre questo spostamento senza trattare allo stesso modo tutte le combinazioni di esperti.
- Le combinazioni non sono usate allo stesso modo
I ricercatori hanno profilato Mixtral-8x7B usando 2.048 sequenze campionate dal set di validazione C4. Il 25% delle combinazioni di esperti più usate ha gestito oltre il 60% delle attivazioni dei token, mentre il 29% meno usato ne ha gestite meno del 10%.
Questa distribuzione suggerisce che assegnare la stessa capacità del modello a ogni combinazione può comportare accessi ai pesi per combinazioni che servono relativamente pochi token. Le combinazioni più frequenti cambiano da uno strato del modello all’altro.
- Gli esperti possono avere effetti diversi
La sola frequenza non descrive il ruolo di ciascun esperto. In un confronto basato sul mascheramento, i ricercatori hanno sostituito a turno con valori zero l’output di ciascun esperto e misurato l’aumento della perplexity.
Considerando le combinazioni, mascherare l’esperto designato come dominante ha aumentato la perplexity in media di 2,64, contro 0,71 per l’esperto ausiliario. Questa media indica effetti misurati diversi tra le combinazioni, non una differenza fissa in ogni coppia.
- Coordinare capacità e pianificazione
CRISP usa questi profili per assegnare larghezze di esecuzione diverse: nelle combinazioni frequenti entrambi gli esperti operano alla larghezza massima; in quelle intermedie, l’esperto ausiliario opera a metà larghezza; in quelle rare, viene saltato.
I neuroni vengono riordinati in base alla loro importanza, così un’esecuzione più stretta può usare un prefisso della stessa copia archiviata dell’esperto. Durante l’inferenza, lo scheduler avvia prima gli esperti più larghi e sovrappone i loro calcoli al caricamento degli esperti più stretti.
- Un vantaggio di throughput circoscritto
Con un budget di cache pari al 10% della dimensione totale degli esperti, Mixtral-8x7B ha generato 8,3 token al secondo con CRISP e 3,9 con MoE-Offload, che pianifica l’I/O senza pruning differenziato. Il risultato mostra un throughput di generazione dei token più alto per CRISP nell’impostazione testata.
Non stabilisce che lo stesso vantaggio valga per altri modelli o budget e il confronto tra i sistemi nel loro insieme non isola quale componente del progetto spieghi la differenza.
Dettagli
- Autori del paper originale
- Congwei Zhang, Youming Tao, Yifei Zou, Yu Yang, Ruirui Zhang
- Inviato ad arXiv
- Licenza
- CC BY 4.0