Que lire, conserver et écrire pendant l’inférence d’un modèle

Un modèle qui traite de longs documents peut consacrer du travail à retrouver des informations passées, manquer de place pour stocker certaines entrées ou déplacer à répétition un état récurrent pendant la génération d’une réponse. Ces contraintes appellent des changements différents.

Les études suggèrent de commencer par une question pratique : quelle opération coûte cher dans l’usage visé ? L’une modifie la recherche dans l’attention, une autre choisit ce qu’un cache compressé conserve, et la troisième réduit la fréquence d’écriture de l’état récurrent.

Les résultats rapportés portent sur des tâches et des mesures différentes ; chacun est donc utile dans les conditions où il a été testé.

Imaginons un assistant qui répond à une question sur un long document. Pour produire sa réponse, son mécanisme d’attention peut avoir besoin d’informations provenant de nombreux tokens précédents.

Même s’il n’en lit qu’une sélection, un système d’attention peut consacrer du travail à rechercher parmi tous ces tokens. L’étude sur la recherche vectorielle examine comment choisir cette sélection pour que la réponse reste utile.

Elle vise à réduire le travail nécessaire pour retrouver des informations antérieures utiles à la question posée, et non la quantité d’informations du document stockée à l’avance.

Le document a peut-être été préparé avant que quiconque connaisse la question. Un système qui en stocke beaucoup peut ne conserver qu’une partie du cache d’attention de chacun : les entrées stockées auxquelles les questions ultérieures se réfèrent.

La décision intervient alors plus tôt : quelles entrées conserver après compression ? L’étude Attic examine ce choix lorsqu’un document compressé doit servir à répondre à des questions ultérieures encore inconnues.

Réduire l’espace occupé par les entrées conservées est un objectif différent de celui qui consiste à réduire le travail de recherche pour une question déjà connue.

Une troisième contrainte apparaît pendant la génération d’une réponse, token après token. Dans les modèles dotés d’un état récurrent; un résumé actualisé des entrées précédentes; chaque nouveau token entraîne normalement la lecture, la mise à jour et l’écriture de cet état.

Le déplacer de façon répétée peut coûter cher lorsque le système traite plusieurs requêtes en parallèle. L’étude ReplaySSM cherche à savoir si ces écritures peuvent être moins fréquentes.

Ces trois cas permettent de préciser ce qui coûte cher avant de parler d’inférence plus efficace : le travail de recherche, la capacité du cache stocké ou les écritures répétées de l’état ?