En palabras sencillas
Un modelo borrador ayuda a un modelo más grande a generar texto al sugerirle tokens. Para ahorrar memoria, el borrador puede conservar solo parte de su registro de tokens anteriores, pero las partes útiles pueden cambiar mientras escribe.
RIFT es una familia de métodos que conserva tanto tokens recientes como contexto seleccionado del prompt y puede actualizar esa selección durante la generación. En una prueba con Qwen, repartir la caché entre el contexto reciente y el seleccionado mejoró el promedio de tokens aceptados frente a una selección fija del prompt o una caché que conservaba solo tokens recientes. El hallazgo se limita a esa configuración evaluada.
La investigación
Cuando un modelo borrador tiene un presupuesto fijo de memoria, ¿qué tokens anteriores debería conservar mientras genera? Una selección del prompt puede preservar contexto lejano, mientras que los tokens recientes recogen lo que acaba de escribirse.
El artículo estudia si ese equilibrio cambia durante la generación y evalúa formas de adaptar la caché.
RIFT divide la caché fija de un modelo borrador entre tokens recientes y contexto seleccionado del prompt, y puede actualizar la selección mientras genera.
El artículo compara dos formas de usar una caché limitada del borrador: conservar posiciones del prompt seleccionadas antes de generar o conservar solo los tokens recientes.
En una configuración de Qwen, los patrones de longitud media de aceptación de ambos métodos evolucionaron en direcciones opuestas a medida que avanzaba la generación. Una medida de atención con la caché completa también mostró un desplazamiento hacia las posiciones que conserva el método de tokens recientes, en consonancia con un cambio en la relevancia del contexto.
RIFT combina tokens recientes con contexto seleccionado del prompt, y algunas variantes actualizan la selección durante la generación. En las configuraciones evaluadas, esta combinación y la actualización mejoraron las medidas de aceptación media frente al enfoque de selección fija correspondiente.
La evidencia respalda estos métodos para los modelos y condiciones descritos, no una ventaja universal.
Estos resultados miden la aceptación de borradores con modelos, presupuestos de caché y ajustes de generación específicos.
El patrón de obsolescencia varía según la arquitectura, y para actualizar las selecciones hay que mantener en memoria todo el historial de la caché del borrador o trasladarlo a otro almacenamiento.
Análisis
Detalles
- Autores del paper original
- Dor Tsur, Maor Ashkenazi, Maximilian Golub, Peter Hicks, Yaniv Galron
- Enviado a arXiv
- Licencia
- CC BY 4.0