QUILT acelera el prellenado de contextos largos al compartir trabajo entre consultas

A medida que crecen las ventanas de contexto, el prellenado debe procesar más datos key-value seleccionados antes de que aparezca el primer token.

No está claro si las consultas contiguas comparten suficiente trabajo para que un núcleo pueda reutilizarlo, en vez de cargar, convertir y calcular las mismas entradas una y otra vez.

QUILT agrupa consultas dispersas contiguas y reutiliza sus entradas key-value compartidas para reducir la latencia del núcleo y la del primer token.

Los autores compararon QUILT con OPS-Transformer, un núcleo optimizado de atención dispersa, en el mismo sistema de servicio XYServe.

Probaron GLM-5.3 y DeepSeek-3.2 en cuatro cargas de trabajo de contexto largo con paralelismo de tensores y de secuencias, y compararon sus puntuaciones oficiales en 21 conjuntos de datos.

QUILT redujo la cantidad de entradas key-value procesadas y acortó tanto la latencia del núcleo como el tiempo hasta el primer token de salida. Para GLM-5.3, la latencia media del núcleo bajó un 53,8 % con paralelismo de tensores en las cuatro cargas de trabajo, mientras que la diferencia absoluta media de puntuación en 21 conjuntos de datos fue de 0,42 puntos.

En conjunto, estos resultados respaldan un prellenado más rápido en las pruebas con pocos cambios medidos en las puntuaciones.

La evidencia se limita a GLM-5.3 y DeepSeek-3.2, tareas de LongBench, cuatro cargas de trabajo para rendimiento y latencia hasta el primer token, 21 conjuntos de datos para precisión y un banco de pruebas con 16 NPU Ascend 910C. No demuestra que se obtengan las mismas mejoras con otros modelos, tareas, configuraciones, sistemas de servicio y condiciones de aceleración.