ES
El enrutamiento de expertos se mantiene estable aunque cambie el momento de las copias
Prefetch-Steered Routing: Deterministic Cache-Aware Expert Selection for Offloaded Mixture-of-Experts Decoding · arXiv:2610.34721
En palabras sencillas
Algunos modelos de lenguaje grandes guardan partes llamadas expertos en la memoria del sistema porque la tarjeta gráfica no puede contenerlas todas. El modelo debe elegir expertos para escribir cada token, aunque algunas copias todavía estén en camino.
Este artículo presenta un método de enrutamiento que basa esas decisiones en un registro predecible de los expertos disponibles, en vez de fijarse en qué copias ya llegaron. En las configuraciones evaluadas, esto mantuvo constantes los resultados de predicción de texto entre distintos planes de copia y ejecuciones repetidas; la velocidad y las puntuaciones de las tareas siguieron variando según el modelo y la carga de trabajo.
La investigación
Cuando un modelo elige expertos mientras sus ponderaciones se copian a la GPU, ¿debería cambiar el resultado del modelo si cambia el momento de la transferencia?
El artículo prueba esta cuestión en el enrutamiento que tiene en cuenta la caché: los expertos que ya están en la GPU reciben una bonificación de selección y la precarga asíncrona puede influir en cuáles se consideran residentes.
PSR usa una caché lógica determinista y predicciones de la capa siguiente para orientar el enrutamiento de expertos; el momento de las copias solo afecta la latencia.
Los autores comprobaron primero si las copias asíncronas de expertos pueden cambiar los cálculos de un modelo que tiene en cuenta la caché.
En las configuraciones de Cache-Prior, el enrutamiento según la caché física hizo que la perplejidad cambiara al variar el número de copias en curso y entre ejecuciones. Una caché lógica mantuvo fija la perplejidad con esos mismos ajustes del planificador, lo que respalda una evaluación independiente del momento de las copias en esta configuración.
PSR usa esa caché lógica e incorpora un número limitado de expertos predichos por el enrutador de la capa siguiente. Les da una bonificación de enrutamiento mientras programa las copias por separado.
En OLMoE, la latencia de PSR con tokens fijados de antemano fue menor que la del enrutamiento exacto con LRU y la de Cache-Prior en ambos niveles de residencia probados. Las diferencias medias emparejadas de puntuación frente a Cache-Prior fueron pequeñas e inciertas; por tanto, estos resultados respaldan un equilibrio entre velocidad y rendimiento en esas mediciones, pero no una equivalencia ni una mejora universales.
Las principales mediciones de latencia usan texto con los tokens fijados de antemano y excluyen el procesamiento del prompt. Los resultados de generación libre dependen de la carga de trabajo y pueden invertirse. Las evaluaciones abarcan tres modelos en una GPU, y la presión de memoria de OLMoE se emuló.
Qué muestran las pruebas
- El problema del momento de las copias
Prefetch-steered routing (PSR) es un método que tiene en cuenta la caché para elegir expertos durante la decodificación de lotes de un elemento, cuando sus ponderaciones se descargan a la memoria del sistema. Cada token activa expertos y, si sus ponderaciones no están en la GPU, hay que copiarlas allí.
Las copias asíncronas pueden coincidir con los cálculos, pero si el enrutamiento reacciona a cuáles ya llegaron, el momento de la transferencia puede cambiar las decisiones del modelo. El artículo pregunta cómo evaluar el enrutamiento de manera coherente cuando el tiempo de transferencia influye en la elección.
- Un estado de caché reproducible
En Cache-Prior, el enrutamiento da una bonificación de puntuación a los expertos residentes, mientras el motor puede precargar expertos de forma asíncrona. En las configuraciones probadas, los autores variaron el número de copias en curso y midieron la perplejidad, que indica qué tan bien predice texto el modelo en los fragmentos evaluados.
Con el enrutamiento según la caché física, la perplejidad cambió entre ajustes del planificador y ejecuciones repetidas. Con el enrutamiento según la caché lógica, se mantuvo fija en esas mismas condiciones, lo que muestra que la evaluación puede evitar esta dependencia del momento de las copias en la configuración probada.
- Qué cambia PSR
PSR es el método propuesto: las predicciones del enrutador de la capa siguiente entran en una caché lógica determinista dentro de un límite fijo, y esos expertos pueden recibir una bonificación de enrutamiento. El enrutador sigue eligiendo a los expertos, mientras el motor programa sus copias físicas por separado.
Los autores lo compararon con el enrutamiento exacto usando caché de menos recientemente usados y con Cache-Prior. En OLMoE, PSR tuvo menor latencia con tokens fijados de antemano que ambos métodos con un 50% y un 25% de expertos residentes; la diferencia media emparejada de puntuación frente a Cache-Prior fue pequeña y sus intervalos de incertidumbre incluían cero.
- Un segundo modelo con descarga de expertos
Las pruebas de tareas midieron el desempeño en preguntas y prompts sobre conocimiento, razonamiento, matemáticas, seguimiento de instrucciones y programación. En Moonlight, donde los expertos sí debían descargarse, PSR fue más rápido que el enrutamiento exacto con caché de menos recientemente usados.
Con una latencia similar a la de Cache-Prior, obtuvo una puntuación media más alta en ocho tareas, con mejoras corregidas en tres y sin pérdidas significativas. Esto respalda la transferencia al modelo probado, aunque deja abiertas las preguntas sobre otros modelos y tareas individuales.
- Dónde termina la ventaja de velocidad
La ventaja de velocidad dependía del equilibrio entre las copias y los cálculos. En Qwen3.6, donde copiar expertos era relativamente barato, PSR y Cache-Prior tuvieron latencias similares con tokens fijados de antemano, aunque PSR mostró menor divergencia respecto del enrutamiento exacto y mejoras en dos tareas de conocimiento o razonamiento.
La latencia en generación libre también varió según el conjunto de prompts: con OLMoE y un 50% de residencia, PSR fue más lento en HumanEval, aunque más rápido en GSM8K e IFEval.
Detalles
- Autores del paper original
- Siming Huang
- Enviado a arXiv
- Licencia
- arXiv non-exclusive