Comment le mode de transmission du rapport change les réponses des agents

Quand un agent donne une mauvaise réponse après avoir utilisé un outil, la réponse seule ne révèle pas où se situe le problème : l’outil peut ne pas avoir produit la valeur nécessaire, l’agent peut ne pas l’avoir vue ou il peut l’avoir mal utilisée. À quelle étape la récupération du rapport influe-t-elle sur cette chaîne ?

Les auteurs comparent les rapports du simulateur fournis directement à leur récupération section par section, puis suivent si les agents produisent, voient et utilisent correctement la valeur nécessaire.

La question centrale est de savoir à quelle étape un agent perd en précision lorsque le long rapport d’un simulateur est récupéré par morceaux : en produisant la bonne valeur, en la voyant ou en l’utilisant correctement. Les auteurs ont vérifié 158 questions sur PHREEQC et suivi ces étapes dans les journaux des agents.

Sur l’ensemble des essais regroupés, la récupération a réduit la précision de GPT-5.1 et GPT-5.2 par rapport aux rapports fournis directement. Une relecture avec la simulation et l’historique de GPT-5.2 maintenus à l’identique a également trouvé une précision plus faible avec la récupération.

Les consignes demandant d’utiliser la valeur imprimée par le simulateur ont amélioré l’usage des éléments de preuve, ce qui étaye l’interprétation des auteurs selon laquelle ce que les agents lisaient a contribué à la baisse.

L’étude porte sur un simulateur, 158 questions vérifiées et les modèles et paramètres d’API testés. Les essais avec l’agent complet ont eu lieu à des moments différents.

Les auteurs n’établissent ni quelle propriété des modèles explique les écarts ni si ceux-ci persistent avec des paramètres de raisonnement explicites.