Des proxies de moyenne aident l’attention clairsemée à préserver sa précision

Quand un modèle de langage ne lit qu’une partie du contexte stocké, comment peut-il préserver les informations qu’il laisse de côté ? Ignorer les jetons non lus fait perdre des informations, tandis qu’un échantillonnage à faible volume de lecture peut manquer ceux auxquels l’attention accorde un poids élevé. L’article évalue si des résumés compacts de groupes peuvent mieux conserver le signal d’attention.

OpenAttention regroupe les jetons du cache, en lit certains exactement et résume les groupes non lus par des proxies de moyenne tenant compte du nombre d’éléments afin de préserver les informations d’attention.

Les auteurs ont évalué si résumer les jetons non lus du cache pouvait mieux préserver les informations d’attention utiles que les ignorer ou les échantillonner.

Ils ont conçu OpenAttention, qui regroupe les jetons, utilise l’erreur estimée des groupes pour guider les lectures exactes et représente les groupes non lus par des proxies de moyenne tenant compte du nombre d’éléments.

Sur sept tâches de RULER-32K HARD, Llama-3.1-8B-Instruct a obtenu une précision moyenne de 86.30 avec une lecture de 1% par requête, proxies compris, un score proche des 87.04 de l’attention dense. Cette comparaison étaye la méthode pour ces tâches et selon ce mode de calcul du volume lu.

Ces résultats portent sur les modèles, les tâches et les budgets de lecture testés. L’estimation de la variance diagonale d’ErrorGate est approximative : ce n’est ni une mesure exacte de l’erreur ni une borne certifiée de l’erreur de sortie.