Cómo cambia las respuestas de los agentes la entrega del informe del simulador
En palabras sencillas
El artículo pregunta si los agentes de lenguaje responden de forma distinta a preguntas de geoquímica cuando reciben de una vez un informe extenso del simulador o tienen que leerlo por partes. Los autores comprobaron 158 preguntas con el simulador PHREEQC y registraron si se producía el valor correcto, si el agente lo veía y si lo usaba.
Con la recuperación por partes, GPT-5.1 y GPT-5.2 tuvieron menor precisión agrupada que con los informes incluidos en el mensaje. En pruebas posteriores, indicar a los agentes que usaran el valor impreso por el simulador mejoró cómo usaban la evidencia. El hallazgo se limita a este simulador, estas preguntas y los ajustes de modelo evaluados.
La investigación
Cuando un agente responde mal después de usar una herramienta, la respuesta por sí sola no revela qué falló: quizá la herramienta no produjo el valor necesario, quizá el agente no lo vio o quizá lo usó de forma incorrecta. ¿En qué punto de esta cadena influye la recuperación del informe?
Los autores comparan informes del simulador incluidos en el mensaje con la recuperación por secciones y rastrean si los agentes producen, ven y usan correctamente el valor necesario.
La pregunta clave es en qué etapa pierde precisión un agente cuando recupera por partes un informe extenso del simulador: al producir el valor correcto, al verlo o al usarlo bien.
Los autores contrastaron 158 preguntas de PHREEQC con respuestas verificadas y rastrearon estas etapas en los registros de los agentes.
En las ejecuciones agrupadas, la recuperación redujo la precisión de GPT-5.1 y GPT-5.2 frente a los informes incluidos en el mensaje.
Una repetición con la simulación y el historial de GPT-5.2 fijos también encontró menor precisión con la recuperación. Las instrucciones de usar el valor impreso por el simulador mejoraron el uso de la evidencia, lo que respalda la interpretación de los autores de que lo que leían los agentes contribuyó a la pérdida.
El estudio abarca un simulador, 158 preguntas verificadas y los modelos y ajustes de API evaluados. Las condiciones con agentes completos se ejecutaron en distintos momentos.
Los autores no determinan qué propiedad del modelo explica las diferencias ni si estas se mantienen al usar ajustes explícitos de razonamiento.
Análisis
Detalles
- Autores del paper original
- Ke Zhang, Sahchit Chundur, Jerry Peprah Owusu, Mohammad Javad Abdolhosseini Qomi, Maziar Raissi
- Enviado a arXiv
- Licencia
- CC BY 4.0