Qué leer, conservar y escribir durante la inferencia

Al atender documentos extensos, un modelo puede dedicar trabajo a encontrar información anterior, quedarse sin espacio para almacenar entradas del documento o mover repetidamente un estado recurrente mientras genera una respuesta. Cada presión requiere un cambio distinto.

Los estudios proponen una pregunta práctica para empezar: ¿qué operación resulta costosa en la carga de trabajo prevista? Un método cambia la recuperación mediante la atención, otro decide qué conserva una caché comprimida y el tercero escribe el estado recurrente con menos frecuencia.

Como los resultados reportados corresponden a tareas y medidas distintas, cada método es útil dentro de sus propias condiciones de prueba.

Imagina un asistente que responde una pregunta sobre un documento extenso. Para generar una respuesta, su mecanismo de atención puede necesitar información de muchos fragmentos de texto anteriores, llamados tokens.

Un sistema de atención puede dedicar trabajo a buscar entre esos tokens aunque solo lea una selección. El estudio sobre búsqueda vectorial pregunta cómo elegir esa selección para que la respuesta resultante siga siendo útil.

El recurso que busca reducir es el trabajo de recuperar información anterior para la pregunta actual, no la cantidad de información del documento almacenada de antemano.

El mismo documento puede haberse preparado antes de que nadie conozca la pregunta. Un sistema que almacena muchos documentos así quizá solo pueda conservar una parte de la caché de atención de cada documento: las entradas almacenadas que se consultan cuando preguntas posteriores remiten a él. La decisión se toma entonces antes: ¿qué entradas sobreviven a la compresión?

El estudio Attic examina esa elección cuando un documento comprimido debe servir para responder preguntas posteriores que aún se desconocen. Ocupar menos espacio con las entradas conservadas tiene un objetivo distinto de reducir el trabajo de búsqueda cuando ya se conoce la pregunta.

Surge una tercera presión mientras se genera una respuesta, token a token. En los modelos con un estado recurrente —un resumen de las entradas anteriores que se actualiza durante la generación—, cada token nuevo suele activar una lectura, una actualización y una escritura de ese estado.

Moverlo repetidamente puede ser costoso con los tamaños de lote usados al atender solicitudes. El estudio ReplaySSM pregunta si esas escrituras pueden hacerse con menos frecuencia.

En conjunto, los casos plantean una pregunta concreta antes de llamar más eficiente a la inferencia: ¿el coste inmediato está en recuperar información, en la capacidad de la caché almacenada o en escribir repetidamente el estado?