Un tokenizador para GPU conserva los identificadores y acelera solicitudes con caché
En palabras sencillas
Cuando un modelo de lenguaje vuelve a recibir una conversación larga, su servidor puede reutilizar el trabajo almacenado para la parte repetida. Pero antes de encontrar ese trabajo, aún tiene que convertir toda la solicitud en identificadores de tokens, así que la tokenización puede convertirse en un cuello de botella.
GraphTok traslada a una GPU los tokenizadores compatibles y conserva los identificadores de referencia. En una prueba con vLLM, cuando casi todos los tokens de cada entrada estaban en caché, la llamada mediana al tokenizador fue entre 2.5 y 5.8 veces más corta que la de TokTier en los modelos y longitudes probados. El artículo evalúa cinco configuraciones de tokenizador, no todos los tokenizadores.
La investigación
Cuando el servidor de un modelo reutiliza trabajo almacenado para una entrada larga y repetida, la tokenización aún tiene que producir los identificadores necesarios para encontrar ese trabajo. ¿Se puede acelerar este paso restante y conservar exactamente los identificadores que recibe el modelo?
GraphTok ejecuta tokenizadores compatibles en una GPU y conserva los identificadores de referencia para intentar reducir el tiempo de codificación cuando la caché de prefijos deja ese trabajo al descubierto.
La pregunta es si un sistema de servicio puede reutilizar trabajo almacenado para texto repetido sin dejar que la tokenización siga ocupando una parte importante de cada solicitud.
El sistema aún necesita los identificadores de tokens antes de buscar el estado almacenado del modelo, y por lo general no es seguro tokenizar solo el sufijo nuevo.
GraphTok traslada a una GPU los pasos de codificación compatibles y conserva los identificadores de tokens de referencia.
En vLLM, con entre el 99.85% y el 99.99% de los tokens de entrada en caché, su llamada mediana al tokenizador fue entre 2.5 y 5.8 veces más corta que la de TokTier en los modelos y longitudes probados. Esto respalda que la tokenización sea más rápida en esas condiciones, junto con la coincidencia de identificadores observada en la evaluación de corrección.
Los resultados abarcan cinco configuraciones concretas de tokenizador, y todos los experimentos se realizaron con una H100 NVL. Los trabajadores de GPU de Dynamo se simularon, así que esa prueba mide la capacidad del frontend, no el servicio completo del modelo de extremo a extremo.
Análisis
Detalles
- Licencia
- arXiv non-exclusive