Los resúmenes medios ayudan a conservar la precisión en atención dispersa

Cuando un modelo de lenguaje lee solo parte del contexto que tiene guardado, ¿cómo puede conservar la información de aquello que omite?

Descartar los tokens no leídos elimina información, mientras que el muestreo puede pasar por alto tokens con un peso alto cuando se leen pocos. El artículo evalúa si los resúmenes compactos de grupos pueden conservar una mayor parte de la señal de atención.

OpenAttention agrupa tokens de la caché, lee algunos de forma exacta y resume los grupos no leídos con valores medios que tienen en cuenta su tamaño para conservar información de atención.

Los autores evaluaron si resumir los tokens no leídos de la caché podía conservar información útil de atención mejor que descartarlos o muestrearlos. Presentaron OpenAttention, que agrupa tokens y usa el error estimado de cada grupo para orientar las lecturas exactas, mientras representa los grupos no leídos con valores medios que tienen en cuenta su tamaño.

En siete tareas de RULER-32K HARD, Llama-3.1-8B-Instruct obtuvo una precisión media de 86.30 con una lectura del 1% por consulta, incluidos los resúmenes, cerca de los 87.04 de la atención densa. Esta comparación respalda el método en esas tareas y con ese criterio de recuento de lecturas.

Estos resultados corresponden a los modelos, las tareas y los presupuestos de lectura evaluados. La estimación de varianza diagonal de ErrorGate es aproximada: no mide el error exacto ni ofrece un límite certificado para el error de salida.