IT
La decodifica MoE congelata può selezionare canali senza calibrazione
Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data · arXiv:2610.37386
In parole semplici
I modelli Mixture-of-experts inviano ogni token a reti di esperti selezionate. Durante la generazione, leggere tutti i pesi degli esperti selezionati può richiedere tempo, perciò i selettori di canali ne calcolano solo alcuni.
Questo paper introduce un reader che usa i pesi del modello per scegliere i canali e stimare il contributo di quelli saltati. Su tre modelli e tre test, il reader ha mantenuto in media il 98,1% dell'accuratezza del modello completo sulle nove coppie modello-test, leggendo il 17,8% dei pesi degli esperti selezionati dal router nel modello completo. Questa media riassume quelle coppie e non descrive ogni singolo risultato.
La ricerca
Una soglia calibrata dovrebbe dare ai selettori di canali un budget di lettura noto e migliorare l'accuratezza a quel budget. Durante la generazione, però, il numero di canali sopra una soglia fissa può cambiare in base all'input. La calibrazione garantisce uno di questi benefici quando si valutano modelli MoE congelati?
Gli autori confrontano soglie fisse sui punteggi e numeri fissi di canali, poi introducono un reader che stima i canali saltati usando solo i pesi.
Per verificare il valore attribuito alla calibrazione, gli autori hanno confrontato la soglia di ciascun selettore con il mantenimento dei canali con i punteggi più alti, usando lo stesso punteggio e il budget di lettura obiettivo della soglia.
La selezione top-k ha ottenuto un risultato pari o superiore in 40 confronti appaiati su 43, compresi tutti i 23 confronti relativi alla generazione; un caso di generazione con Gemma 4 ha mostrato un grave cedimento della soglia.
Nei confronti testati, questi risultati non mostrano un vantaggio costante in accuratezza della calibrazione.
I confronti tra soglie riguardano i canali di modelli MoE congelati, entro i budget testati. Il reader è stato valutato su tre modelli post-addestrati fino a 35 miliardi di parametri e i suoi kernel sono stati ottimizzati per un solo tipo di GPU e un solo budget di lettura.
Cosa mostrano le prove
- Cosa dovrebbe garantire la calibrazione
I modelli Mixture-of-experts instradano ogni token verso reti di esperti selezionate. I selettori di canali riducono i pesi letti calcolando solo alcuni canali di quegli esperti.
Un approccio comune imposta una soglia sui punteggi usando dati campione, con l'obiettivo di rispettare un determinato budget di lettura. Il paper chiede se quella soglia raggiunga davvero il budget e migliori l'accuratezza rispetto al mantenimento di un numero fisso di canali con punteggi elevati.
- Il budget di lettura varia
Con una soglia fissa, per input e token diversi può passare un numero diverso di canali. Gli autori hanno verificato le letture effettive degli esperti selezionati dal router durante la decodifica, misurandole come quota delle letture richieste da quegli esperti nel modello completo.
In 72 esecuzioni di Prox e del reader degli autori con soglie calibrate, le letture sono rimaste sotto l'obiettivo in ogni esecuzione. Per Prox calibrato al 18%, la media è stata del 12,9% su nove coppie modello-test.
- Un confronto dell'accuratezza a parità di condizioni
Per isolare l'effetto della regola di selezione, gli autori hanno eseguito ciascun selettore usando lo stesso punteggio prima con la soglia calibrata e poi con la selezione top-k, che mantiene un numero fisso dei canali con i punteggi più alti.
Hanno confrontato l'accuratezza al budget obiettivo della soglia. La selezione top-k ha ottenuto un risultato pari o superiore in 40 confronti appaiati su 43, compresi tutti i 23 confronti relativi alla generazione; un pareggio significa che non è stata rilevata una differenza superiore a due errori standard appaiati.
- Un cedimento e un nuovo reader
Il confronto complessivo include un caso dalle conseguenze rilevanti: in un test di generazione con Gemma 4, Prox con una soglia calibrata sui canali è finito in cicli di ripetizione, mentre sostituire la soglia con la selezione top-k, mantenendo una quota di lettura quasi uguale, ha aumentato nettamente l'accuratezza e ridotto le risposte che raggiungevano il limite di token.
Separatamente, il paper introduce un reader basato sui pesi del modello: su tre modelli e tre test, ha mantenuto in media il 98,1% dell'accuratezza del modello completo usando il 17,8% delle letture degli esperti selezionati dal router.
Dettagli
- Autori del paper originale
- Geunhyoung Kim, Sung Ju Hwang
- Inviato ad arXiv
- Licenza
- CC BY 4.0