DuoRate permite a los modelos MoE almacenar y leer pesos a tasas distintas
En palabras sencillas
Los modelos de lenguaje mixture-of-experts mantienen muchos componentes expertos en memoria, pero cada token generado usa solo unos pocos. Por eso, la cantidad de datos de pesos almacenados puede diferir de la cantidad que se lee para cada token.
DuoRate es un método que almacena un solo archivo de pesos y elige cuánto leer de cada experto para una carga de trabajo concreta. En un modelo evaluado, su exactitud media en tres tareas de conocimientos y matemáticas fue cercana a la de un formato de cuatro bits, aunque durante la decodificación leyó menos bits por cada peso de experto activado.
La investigación
Al comprimir un modelo mixture-of-experts, la cantidad que almacena quizá no indique cuántos datos debe leer para cada token generado. En cada paso de decodificación con tamaño de lote uno, el enrutador selecciona solo algunos expertos, que pueden tener precisiones distintas.
La pregunta es si un solo modelo almacenado puede tener en cuenta ambos costos sin mantener un artefacto distinto para cada carga de trabajo.
DuoRate almacena un único artefacto de pesos de expertos legible por prefijos y, a partir del prefill de cada carga de trabajo, elige cuánto leer de cada experto dentro de un presupuesto de tráfico de decodificación.
En Qwen3-30B-A3B-Base, los autores compararon DuoRate con otros formatos mediante el mismo proceso de evaluación. Con un presupuesto de lectura de 2.9 bits por peso, su exactitud media en MMLU-Pro, MMLU y GSM8K fue del 76.16%, frente al 76.82% de HIF4 a 4.5 bits por peso.
En la puntuación de respuestas exactas de matemáticas de GSM8K, DuoRate igualó a HIF4 con un 91.00%.
La comparación muestra que, en este modelo y estas tareas, las lecturas de DuoRate ajustadas a cada carga de trabajo pueden acercarse a la exactitud de un formato de cuatro bits con una tasa de lectura menor para tamaño de lote uno.
Los controles en WikiText-2 con el mismo formato también encontraron una ventaja de la asignación, mientras que un control con otro objetivo mostró un intercambio con la tasa de almacenamiento.
La evidencia procede de un solo modelo y un conjunto limitado de tareas de evaluación. Las cifras de eficiencia de servicio de DuoRate se calculan a partir del diseño de almacenamiento; no se midieron con un kernel de lectura de prefijos de extremo a extremo.
Análisis
Detalles
- Autores
- Mengqi Guo, Zhe Wei, Yuan Yuan, Jiunn Bin Lim, Boyi Pan
- Licencia
- arXiv non-exclusive