DropKV supera a los métodos evaluados con una caché pequeña
En palabras sencillas
Los modelos de lenguaje guardan información sobre palabras anteriores en una caché para poder usarla mientras procesan un texto largo. Para reducir esa caché, DropKV estima cuánto cambiaría la salida de atención del modelo al retirar cada token guardado y elimina los que, según la estimación, tendrían el menor efecto.
En RULER, una evaluación de tareas con contextos largos, DropKV tuvo una precisión media superior a la de los otros métodos de eliminación evaluados en tres modelos, con un contexto de 128K tokens y un presupuesto de caché del 5%. El resultado se limita a esos modelos y condiciones.
La investigación
Una caché puede reducirse eliminando de forma permanente información de tokens guardados, pero elegir varios tokens a la vez para minimizar el cambio en la salida de atención de un modelo es difícil desde el punto de vista computacional.
¿Puede una puntuación sencilla para cada token hacer manejable esa elección sin perder demasiado rendimiento en las tareas?
DropKV puntúa los tokens guardados según su efecto estimado en la salida de atención y elimina los menos disruptivos para conservar el rendimiento en las tareas con una caché limitada.
DropKV puntúa cada token según su efecto estimado en la salida de atención, suma las puntuaciones al cuadrado para consultas recientes y elimina los tokens con los valores más bajos. Así sustituye una elección conjunta difícil por puntuaciones individuales.
Con un presupuesto de caché del 5%, sus puntuaciones medias superaron las de métodos de desalojo competidores en las tareas de contexto largo de RULER y en 16 tareas en inglés y de código de LongBench, en tres modelos. Esto respalda su rendimiento en las condiciones evaluadas.
El límite teórico solo se aplica cuando los pesos de atención son pequeños y se cumple la condición del cono; esa condición no se cumplió en algunas ternas muestreadas. Las evaluaciones abarcan tres modelos, las tareas especificadas y los presupuestos de caché indicados.
La aceleración con Triton corresponde al cálculo de puntuaciones durante el prefill, no durante la generación de tokens.
Análisis
Detalles
- Autores del paper original
- Aozhong Zhang, Selcuk Gurses, Yanxia Deng, Naigang Wang, Chi-Chun Liu
- Enviado a arXiv
- Licencia
- CC BY 4.0