Les agents peuvent retirer d’anciens états du cache sans réécrire leur historique

Lorsqu’un agent mène une tâche longue, raccourcir son historique écrit peut obliger le modèle à reconstruire des informations mises en cache, tandis qu’un résumé risque de retirer des détails utiles par la suite.

Un agent peut-il réduire ce à quoi le modèle prête attention sans réécrire l’historique ni perdre des informations utiles ?

Les auteurs présentent la gestion du cache et AKV, qui permettent aux agents de retirer certains états mis en cache tout en préservant leur historique écrit et en réutilisant les états conservés.

Les auteurs présentent la gestion du cache : un agent peut retirer certains états mis en cache de l’attention future tout en conservant son historique écrit. AKV est le système de service qui suit ces opérations pour permettre la réutilisation correcte des états conservés.

Lors d’un test de GPT-OSS-120B sur 100 tâches de navigation, raccourcir le texte a coûté plus cher que l’inférence avec tout le contexte, tandis que les résumés déclenchés par un seuil ont réduit le coût mais aussi la précision. Selon les auteurs, le retrait direct du cache a amélioré la précision et réduit le coût, ce qui étaye l’idée que le contrôle du cache peut atténuer ce compromis dans la configuration évaluée.

Ces résultats portent sur les modèles, les tâches et la charge de service évalués. La comparaison du service a utilisé des niveaux de concurrence différents et rejoué des trajectoires recueillies avec chaque méthode ; elle ne permet donc pas d’isoler la gestion du cache de toutes les différences de charge de travail.