QUILT accélère le prefill des longs contextes en partageant le travail des requêtes

À mesure que les fenêtres de contexte s’allongent, le prefill doit traiter davantage de données clé-valeur sélectionnées avant l’apparition du premier jeton.

On ne sait pas encore clairement si les requêtes voisines partagent suffisamment de travail pour qu’un noyau puisse le réutiliser, au lieu de charger, convertir et calculer plusieurs fois les mêmes entrées.

QUILT regroupe les requêtes éparses voisines et réutilise leurs entrées clé-valeur communes, réduisant ainsi la latence du noyau et le délai avant le premier jeton.

Les auteurs ont comparé QUILT à OPS-Transformer, un noyau optimisé d’attention éparse, dans le même environnement de service XYServe.

Ils ont testé GLM-5.3 et DeepSeek-3.2 sur quatre tâches à long contexte avec le parallélisme de tenseurs et de séquences, puis comparé leurs scores officiels sur 21 jeux de données.

QUILT a réduit le nombre d’entrées clé-valeur traitées, ainsi que la latence du noyau et le délai avant le premier jeton de sortie. Pour GLM-5.3, la latence moyenne du noyau a baissé de 53,8 % avec le parallélisme de tenseurs sur les quatre tâches, tandis que l’écart absolu moyen de score sur 21 jeux de données était de 0,42 point.

Ensemble, ces résultats étayent un prefill plus rapide dans les tests, avec peu de variation mesurée des scores.

Les résultats se limitent à GLM-5.3 et DeepSeek-3.2, aux tâches LongBench, à quatre charges de travail pour les performances et la latence avant le premier jeton, à 21 jeux de données pour la précision, ainsi qu’à un banc d’essai équipé de 16 NPU Ascend 910C.

Ils ne permettent pas d’établir que les mêmes gains seraient obtenus avec d’autres modèles, tâches, configurations, conditions de service ou accélérateurs.