ES
Merlin ayuda a modelos de contexto largo a ponderar segmentos útiles
Multi-State Linear Attention with Generalized Second-Order Routing · arXiv:2610.37645
En palabras sencillas
Algunos modelos de lenguaje dividen los textos largos en fragmentos y guardan una memoria separada para cada uno. Al responder una pregunta, combinan información de esos fragmentos.
Este artículo presenta Merlin, un método que ayuda a decidir qué fragmentos importan: comprueba tanto la coincidencia media con la pregunta como cuánto varía esa coincidencia entre las palabras del fragmento. En un diagnóstico pequeño, Merlin dio el mayor peso al fragmento que contenía la evidencia de la respuesta, entre los métodos comparados.
Los autores también informaron puntuaciones medias más altas en tareas de contexto largo para dos tipos de modelos evaluados, con ejemplos de hasta 16K tokens.
La investigación
Cuando una consulta necesita un dato escondido en un contexto largo, ¿qué debería determinar qué segmento comprimido contribuye más? La posición puede favorecer lo reciente, mientras que la coincidencia media entre claves y consulta puede pasar por alto un segmento que contiene unas pocas claves con coincidencias fuertes.
Queda por saber si medir la variación dentro de un segmento permite dirigir mejor la información útil.
Merlin guarda dos resúmenes de las claves de cada segmento para que cada consulta pueda ponderar sus salidas según la coincidencia media y la variación de esa coincidencia.
Los autores entrenaron modelos multiestado Gated DeltaNet y Mamba-2 con Merlin y los compararon con Meanpool, que pondera los segmentos según la alineación media.
LongBench evalúa preguntas y respuestas con contexto largo, resumen y tareas relacionadas; en once subtareas, Merlin obtuvo puntuaciones medias más altas: 21.9 frente a 19.3 para Gated DeltaNet y 20.6 frente a 18.4 para Mamba-2.
En un diagnóstico aparte, Merlin asignó el mayor peso al segmento que contenía la respuesta, entre los métodos comparados. En conjunto, estos resultados respaldan una mejora del enrutamiento y de las puntuaciones en las tareas para los modelos evaluados.
La evaluación de LongBench incluye solo muestras de hasta 16K tokens. El diagnóstico de enrutamiento por separado abarca 30 ejemplos de TriviaQA con un contexto de 4K y mide el peso del segmento, no la precisión de las respuestas; por tanto, estos resultados no establecen el rendimiento en contextos más largos ni en otros modelos.
Qué muestran las pruebas
- Qué segmentos deben contribuir
La atención lineal multiestado divide un contexto largo en segmentos, guarda una memoria para cada uno y combina sus salidas para responder a una consulta. Merlin modifica cómo se ponderan esas salidas en este sistema.
La pregunta es si la posición de un segmento o su coincidencia media con la consulta bastan para decidir cuánto debe contribuir.
- Por qué los promedios pueden ocultar evidencia
La ponderación por posición no examina el contenido de un segmento. La ponderación por la media mide la coincidencia promedio entre la consulta y las claves del segmento, pero ese promedio puede ocultar unas pocas claves con coincidencias fuertes entre muchas débiles.
Merlin aborda esta limitación usando tanto la alineación media como su variación dentro del segmento para ponderar su salida.
- Una comprobación del enrutamiento
En un diagnóstico con 30 ejemplos de recuperación de TriviaQA seleccionados al azar y un contexto de 4K, los autores midieron el peso asignado al segmento que contenía la evidencia de la respuesta. Merlin le asignó más peso que la agregación basada solo en la posición o solo en la media.
Esto aporta evidencia sobre hacia dónde se dirige la información; el diagnóstico no mide si el modelo produjo la respuesta correcta.
- Puntuaciones en tareas de contexto largo
Los autores también probaron modelos multiestado Gated DeltaNet y Mamba-2 en LongBench, que evalúa preguntas y respuestas con contexto largo, resumen y tareas relacionadas. En once subtareas y con muestras limitadas a 16K tokens, Merlin obtuvo una puntuación media superior a Meanpool, que usa solo la alineación media.
La comparación respalda mejores puntuaciones para estos modelos evaluados bajo las condiciones descritas.
Detalles
- Autores del paper original
- Hee Seung Hwang, Sanghyuk Chun, Xindi Wu, Olga Russakovsky, Zhiwei Deng
- Enviado a arXiv
- Licencia
- CC BY 4.0