Come la consegna dei report del simulatore cambia le risposte degli agenti

Quando un agente risponde male dopo aver usato uno strumento, la risposta da sola non rivela dove si è verificato l’errore: il tool potrebbe non aver prodotto il valore necessario, l’agente potrebbe non averlo visto oppure potrebbe averlo usato in modo scorretto. In quale punto di questa catena influisce il recupero del report?

Gli autori confrontano i report del simulatore inseriti nel prompt con il recupero sezione per sezione, poi verificano se gli agenti producono, vedono e usano correttamente il valore necessario.

La domanda centrale è dove un agente perde accuratezza quando recupera a pezzi un lungo report del simulatore: nel produrre il valore corretto, nel vederlo o nell’usarlo correttamente.

Gli autori hanno verificato 158 domande su PHREEQC rispetto a risposte corrette convalidate e hanno seguito queste fasi nei log degli agenti.

Nelle esecuzioni aggregate, il recupero ha ridotto l’accuratezza di GPT-5.1 e GPT-5.2 rispetto ai report inseriti nel prompt. Una ripetizione con la simulazione e la cronologia di GPT-5.2 fissate ha rilevato una minore accuratezza anche con il recupero.

Le istruzioni che chiedevano di usare il valore stampato dal simulatore hanno migliorato l’uso delle prove, sostenendo l’interpretazione degli autori secondo cui ciò che gli agenti leggevano ha contribuito alla perdita.

Lo studio riguarda un solo simulatore, 158 domande verificate e le impostazioni dei modelli e delle API sottoposte a test.

Le condizioni con agenti completi sono state eseguite in momenti diversi; gli autori non stabiliscono quale proprietà del modello spieghi le differenze né se queste persistano con impostazioni esplicite di ragionamento.