DuoRate permette ai modelli MoE di memorizzare e leggere i pesi a misure diverse

Quando si comprime un modello mixture-of-experts, la quantità di dati memorizzati può non indicare quanti dati debba leggere ogni token generato. A ogni passo di decodifica con batch di una sola richiesta, il router seleziona solo alcuni esperti, che possono avere precisioni diverse.

La domanda è se un unico modello memorizzato possa tenere conto di entrambi i costi senza richiedere un artefatto separato per ogni carico di lavoro.

DuoRate conserva un unico artefatto di pesi degli esperti leggibile tramite prefissi e usa il prefill di ogni carico di lavoro per scegliere la profondità di lettura di ciascun esperto entro un budget di traffico in decodifica.

Su Qwen3-30B-A3B-Base, gli autori hanno confrontato DuoRate con altri formati usando un unico sistema di valutazione. Con un budget di lettura di 2.9 bit per peso, l’accuratezza media su MMLU-Pro, MMLU e GSM8K era 76.16%, rispetto al 76.82% di HIF4 a 4.5 bit per peso.

Nella valutazione di GSM8K, basata sulle risposte matematiche esatte, DuoRate ha eguagliato HIF4 con il 91.00%.

Il confronto mostra che, su questo modello e queste attività, le letture di DuoRate specifiche per il carico di lavoro possono avvicinarsi all’accuratezza di un formato a quattro bit con una misura di lettura inferiore durante la decodifica con batch di una sola richiesta.

I controlli su WikiText-2 con lo stesso formato hanno inoltre rilevato un vantaggio dell’allocazione, mentre il controllo con un obiettivo alternativo ha messo in evidenza un compromesso sulla memorizzazione.

Le evidenze provengono da un solo modello e da un insieme limitato di attività di valutazione. I dati sull’efficienza di serving di DuoRate sono calcolati dalla disposizione dei pesi memorizzati, non misurati con un kernel end-to-end che legge i prefissi.