Un tokenizer su GPU accelera le richieste con cache
In parole semplici
Quando un modello linguistico rivede una lunga conversazione, il server può riutilizzare il lavoro già memorizzato per la parte ripetuta. Deve però ancora trasformare tutta la richiesta in ID dei token prima di cercare quel lavoro, quindi la tokenizzazione può diventare un collo di bottiglia.
GraphTok sposta su una GPU i tokenizer supportati, mantenendo gli stessi ID di riferimento. In un test con vLLM, quando quasi tutti i token di ogni prompt erano già in cache, la chiamata mediana al tokenizer è stata da 2.5 a 5.8 volte più breve con GraphTok che con TokTier, per i modelli e le lunghezze testati. Il paper valuta cinque configurazioni di tokenizer, non tutti i tokenizer esistenti.
La ricerca
Quando un server riutilizza il lavoro memorizzato per un prompt lungo e ripetuto, la tokenizzazione deve comunque produrre gli ID necessari per trovare quel lavoro. È possibile velocizzare questo passaggio mantenendo esattamente gli ID ricevuti dal modello?
GraphTok esegue su una GPU i tokenizer supportati preservando gli ID di riferimento, con l’obiettivo di ridurre i tempi di codifica quando il prefix caching rende visibile questo lavoro.
La domanda è se un sistema di serving possa riutilizzare il lavoro memorizzato per un testo ripetuto senza lasciare che la tokenizzazione occupi una parte consistente della richiesta.
Prima di cercare lo stato del modello in cache servono comunque gli ID dei token, e in generale non è sicuro tokenizzare soltanto il nuovo suffisso.
GraphTok sposta su una GPU le fasi di codifica supportate, mantenendo gli ID dei token di riferimento. In vLLM, con il 99.85–99.99% dei token dei prompt già in cache, la chiamata mediana al tokenizer è stata da 2.5 a 5.8 volte più breve di quella di TokTier, per i modelli e le lunghezze testati.
I risultati sostengono una tokenizzazione più rapida in queste condizioni e mostrano ID corrispondenti nei controlli di correttezza valutati.
I risultati riguardano cinque configurazioni concrete di tokenizer e tutti gli esperimenti sono stati eseguiti su una sola H100 NVL. I worker GPU di Dynamo erano simulati, quindi quel test misura la capacità del frontend, non l’erogazione end-to-end del modello.
Analisi
Dettagli
- Licenza
- arXiv non-exclusive