Los agentes pueden retirar estados de caché sin reescribir su historial
Cache Engineering for Agents · arXiv:2610.28577
En palabras sencillas
Los agentes basados en modelos de lenguaje pueden acumular historiales largos mientras trabajan. Acortar ese historial editando el texto puede obligar a reconstruir estados almacenados en caché, mientras que resumirlo puede hacer que se pierdan detalles.
Este artículo presenta la ingeniería de caché: el agente puede retirar estados seleccionados de la caché y conservar su historial escrito y los demás estados. En una prueba de GPT-OSS-120B con 100 tareas de navegación, se informó que retirar directamente estados de la caché redujo el coste y mejoró la precisión; el resultado se limita a esta configuración evaluada.
La investigación
Cuando un agente trabaja en una tarea larga, acortar su historial escrito puede obligar al modelo a reconstruir información almacenada en caché, mientras que resumirlo puede eliminar detalles necesarios más adelante.
¿Puede un agente reducir aquello a lo que presta atención el modelo sin reescribir su historial ni perder información útil?
Los autores presentan la ingeniería de caché y AKV para que los agentes retiren estados seleccionados de la caché, conserven su historial de texto y reutilicen los estados restantes.
Los autores presentan la ingeniería de caché, que permite a un agente retirar estados seleccionados de la caché para la atención futura sin alterar su historial de texto. AKV es el sistema de servicio que registra estas operaciones para que los estados conservados puedan reutilizarse correctamente.
En una prueba de GPT-OSS-120B con 100 tareas de navegación, recortar el texto costó más que usar todo el contexto, mientras que resumir al alcanzar un umbral redujo el coste, pero bajó la precisión. Se informó que retirar estados directamente de la caché mejoró la precisión y redujo el coste, lo que respalda que controlar la caché puede aliviar este equilibrio en la configuración evaluada.
Estos resultados corresponden a los modelos, las tareas y la carga de servicio evaluados.
La comparación de servicio usó distintos niveles de concurrencia y reprodujo trayectorias recopiladas con cada método, por lo que no permite aislar la gestión de la caché de todas las diferencias entre las cargas de trabajo.
Qué muestran las pruebas
- El problema de un historial creciente
Los agentes de lenguaje que trabajan durante mucho tiempo acumulan conversaciones y resultados de herramientas. Editar texto antiguo para acortar el historial puede exigir reconstruir los estados almacenados en caché para el texto restante, mientras que resumirlo puede descartar información útil.
El artículo pregunta si un agente puede reducir aquello a lo que prestan atención los pasos posteriores del modelo sin cambiar la trayectoria escrita.
- Control directo de la caché
El artículo presenta la ingeniería de caché, un método para controlar qué estados de clave y valor almacenados siguen disponibles para la atención posterior. El agente puede retirar estados seleccionados y conservar intactos el historial de texto y los estados de caché restantes, sin tener que recalcular ese historial conservado. AKV es el sistema de servicio creado para gestionar esas operaciones de caché.
- Una comparación por tarea
Una comparación en las primeras 100 tareas de navegación de BrowseComp-Plus con GPT-OSS-120B muestra el equilibrio entre coste y precisión de las reducciones basadas en texto. Conservar solo las respuestas de herramientas de las 12 rondas más recientes costó 1.85 veces más que la inferencia con todo el contexto; resumir al llegar a un umbral de 48K tokens redujo el coste alrededor de un 7%, pero bajó la precisión en 5 puntos porcentuales.
Se informó que retirar directamente de la caché respuestas antiguas de herramientas mejoró la precisión y redujo el coste.
- Resultados en más tareas
La evaluación más amplia probó tres modelos en cuatro pruebas de agentes de larga duración, que incluyeron navegación e investigación, respuesta a preguntas y corrección de software. Los autores informan que la eliminación progresiva obtuvo, en promedio, puntuaciones 1.7 puntos más altas y redujo un 27.7% el coste medio de inferencia por tarea frente a los resúmenes activados por umbral.
Esos valores son promedios de los modelos y pruebas evaluados, no el cambio de cada resultado individual.
- Servicio con trayectorias reproducidas
Una reproducción aparte midió el servicio con GPT-OSS-120B usando trayectorias de 80 tareas de software con contextos largos. En el ajuste de máximo rendimiento de cada método, AKV tuvo mayor rendimiento de salida y menor latencia de solicitudes en el percentil 95 que Standard.
Como los métodos reprodujeron trayectorias recopiladas con sus propios procedimientos y usaron distintos niveles de concurrencia, este resultado describe la configuración de servicio probada.
Detalles
- Autores del paper original
- Tianyu Fu, Ruoxi Wang, Zihan Min, Zhongqi Ren, Zhihao Li
- Enviado a arXiv
- Licencia
- arXiv non-exclusive