Auteur
Mohammad Siavashi
Articles qui citent Mohammad Siavashi parmi les auteurs de la source. Un même nom peut désigner des chercheurs différents.
1 résultats
Un tokeniseur pour GPU conserve les identifiants et accélère les requêtes en cache
GraphTok conserve les identifiants de référence et raccourcit les appels médians au tokeniseur dans les conditions testées avec vLLM, quand presque tous les tokens des requêtes sont en cache.