ES
CRISP coordina la poda y la planificación para MoE en dispositivos periféricos
CRISP: Co-designing Pruning and Scheduling for Efficient MoE Inference on Edge Servers · arXiv:2610.37442
En palabras sencillas
Algunos modelos de lenguaje eligen unas pocas redes expertas para cada fragmento de texto. En un dispositivo pequeño, el modelo puede tener que cargar los pesos de esos expertos desde la memoria, y esa carga puede tardar más que el cálculo.
CRISP analiza qué pares de expertos se usan con frecuencia y cuál de los dos tiene más efecto. Conserva más capacidad para los expertos más relevantes y planifica su carga mientras se realizan cálculos.
En la comparación publicada, con Mixtral-8x7B y espacio de caché para el 10% de los pesos de los expertos, generó tokens más rápido que MoE-Offload.
La investigación
Cuando los pesos de los expertos no caben todos en la memoria GPU de un dispositivo, cargarlos puede tardar más que calcular con ellos.
No está claro si un sistema puede reducir ese costo y conservar más capacidad del modelo para las combinaciones de expertos y los expertos individuales más relevantes.
CRISP asigna más capacidad a los expertos frecuentes e influyentes y planifica su carga junto con el cálculo para reducir el traslado de datos durante la inferencia en dispositivos periféricos.
CRISP usa la frecuencia de las combinaciones y el papel de cada experto para decidir cuánto ejecutar de cada uno. Después planifica primero los expertos más anchos para solapar su cálculo con la carga de los más estrechos.
Con Mixtral-8x7B y espacio de caché limitado al 10% del tamaño total de los expertos, los investigadores midieron 8.3 tokens generados por segundo con CRISP y 3.9 con MoE-Offload, que planifica las operaciones de entrada y salida sin aplicar poda diferenciada. El resultado respalda un mayor rendimiento de CRISP en esta configuración.
La comparación de rendimiento corresponde a Mixtral-8x7B con espacio de caché fijado en el 10% del tamaño total de los expertos; el resultado citado no indica en qué plataforma de prueba se obtuvo. La evaluación abarcó dos modelos, dos plataformas y cargas de trabajo especificadas. El perfilado de CRISP puede necesitar actualizarse si cambia el modelo o la carga de trabajo.
Qué muestran las pruebas
- El costo de acceder a los expertos
CRISP es un marco de inferencia en dispositivos periféricos que diseña conjuntamente la poda de expertos y la planificación durante la ejecución para modelos mixture-of-experts. Estos modelos dirigen cada token a un subconjunto de expertos, pero como el enrutamiento depende de la entrada, los pesos de todos los expertos deben seguir siendo accesibles.
Cuando no caben en la memoria GPU, cargar los pesos desde la memoria del sistema puede dominar el tiempo de inferencia. La investigación pregunta cómo reducir ese traslado sin tratar por igual todas las combinaciones de expertos.
- Las combinaciones se usan de forma desigual
Los investigadores perfilaron Mixtral-8x7B con 2,048 secuencias tomadas del conjunto de validación C4. El 25% de las combinaciones de expertos más frecuentes procesó más del 60% de las activaciones de tokens, mientras que el 29% menos frecuente procesó menos del 10%.
Esta desigualdad sugiere que asignar la misma capacidad del modelo a cada combinación podría dedicar acceso a los pesos a combinaciones que atienden relativamente pocos tokens. Las combinaciones frecuentes cambian según la capa del modelo.
- Los expertos pueden tener efectos distintos
La frecuencia por sí sola no refleja el papel de cada experto. En una comparación mediante enmascaramiento, los investigadores sustituyeron por ceros la salida de cada experto, uno a la vez, y midieron el aumento de perplexity.
En el conjunto de combinaciones, ocultar el experto designado como principal aumentó la perplexity en un promedio de 2.64, frente a 0.71 para el experto auxiliar. Este promedio señala efectos medidos desiguales entre combinaciones, no una diferencia fija en cada par.
- Ajustar la capacidad y la planificación
CRISP usa estos patrones para asignar anchos de ejecución: en las combinaciones frecuentes, ambos expertos se ejecutan a ancho completo; en las de frecuencia intermedia, el auxiliar se ejecuta a la mitad de ancho; y en las poco frecuentes, se omite.
Las neuronas se reordenan según su importancia para que una ejecución más estrecha pueda usar un prefijo de una sola copia almacenada del experto. Durante la inferencia, el planificador empieza por los expertos más anchos y solapa su cálculo con la carga de los más estrechos.
- Una mejora de rendimiento acotada
Con un presupuesto de caché equivalente al 10% del tamaño total de los expertos, Mixtral-8x7B generó 8.3 tokens por segundo con CRISP y 3.9 con MoE-Offload, que planifica las operaciones de entrada y salida sin aplicar poda diferenciada.
Esto muestra un mayor rendimiento de generación de tokens para CRISP en la configuración probada. No establece que la misma mejora se dé con otros modelos o presupuestos, y la comparación del sistema completo no aísla qué componente del diseño explica la diferencia.
Detalles
- Autores del paper original
- Congwei Zhang, Youming Tao, Yifei Zou, Yu Yang, Ruirui Zhang
- Enviado a arXiv
- Licencia
- CC BY 4.0