Un tokeniseur pour GPU conserve les identifiants et accélère les requêtes en cache
En termes simples
Quand un modèle de langage reçoit à nouveau une longue conversation, son serveur peut réutiliser le travail déjà effectué pour la partie répétée. Mais avant de retrouver ce travail mémorisé, il doit encore transformer toute la requête en identifiants de tokens.
La tokenisation peut donc devenir un goulot d’étranglement. GraphTok fait fonctionner sur un GPU des tokeniseurs pris en charge, tout en conservant les mêmes identifiants que les tokeniseurs de référence.
Lors d’un test avec vLLM, quand presque tous les tokens de chaque requête étaient en cache, son appel médian au tokeniseur était 2.5–5.8 fois plus court que celui de TokTier pour les modèles et les longueurs évalués. L’article porte sur cinq configurations de tokeniseur, pas sur tous les tokeniseurs.
La recherche
Quand un serveur de modèle réutilise le travail mémorisé pour un long texte répété, la tokenisation doit tout de même produire les identifiants nécessaires pour retrouver ce travail. Peut-on accélérer cette étape tout en conservant exactement les identifiants reçus par le modèle ?
GraphTok fait fonctionner des tokeniseurs pris en charge sur un GPU tout en conservant les identifiants de référence, dans le but de réduire le temps d’encodage lorsque la mise en cache de préfixe rend ce travail plus visible.
La question est de savoir si un système de service peut réutiliser le travail mémorisé pour du texte répété sans que la tokenisation reste une part importante de la requête.
Le système a toujours besoin des identifiants de tokens pour retrouver l’état mémorisé du modèle, et il n’est généralement pas sûr de tokeniser uniquement le nouveau suffixe.
GraphTok exécute sur un GPU les étapes d’encodage prises en charge, tout en conservant les identifiants de référence.
Dans vLLM, avec 99.85–99.99% des tokens des requêtes en cache, son appel médian au tokeniseur était 2.5–5.8 fois plus court que celui de TokTier pour les modèles et longueurs testés. Ces résultats étayent l’idée d’une tokenisation plus rapide dans ces conditions, avec des identifiants concordants dans la campagne d’évaluation de la correction.
Les résultats portent sur cinq configurations précises de tokeniseur, et toutes les expériences ont été menées sur un seul H100 NVL. Les processeurs graphiques de Dynamo étaient simulés : ce test mesure donc la capacité de son frontal, et non les performances de bout en bout du service de modèles.
Analyse
Détails
- Licence
- arXiv non-exclusive