ES
AT-AT mejora herramientas compartidas a partir de ejecuciones anteriores de agentes
AT-AT: Automatic Tool Optimization from Agent Traces · arXiv:2610.34679
En palabras sencillas
Los agentes usan herramientas para obtener información y realizar acciones, pero quienes mantienen herramientas compartidas quizá no puedan controlar los agentes que las usan. AT-AT es un método que lee ejecuciones anteriores ya evaluadas y usa un agente de programación para editar las instrucciones de las herramientas y, cuando está permitido, el código que las hace funcionar.
En tareas de atención al cliente simuladas y reservadas para la evaluación en Telecom, el agente predeterminado de la prueba obtuvo una recompensa media por completar tareas mayor con las herramientas de AT-AT que con las originales. El resultado es un promedio entre tareas y ejecuciones repetidas, no una garantía para cada tarea.
La investigación
Cuando muchos agentes dependen de herramientas compartidas, ¿pueden quienes las mantienen mejorar sus resultados a partir de ejecuciones anteriores sin cambiar los agentes?
La pregunta importa porque las descripciones orientan qué herramientas y argumentos eligen los agentes, mientras que las implementaciones determinan la información y los errores que se devuelven después de cada llamada.
AT-AT usa ejecuciones de agentes ya evaluadas para orientar cambios selectivos en las descripciones y el código de herramientas compartidas, con el objetivo de mejorar los resultados sin cambiar los agentes.
Los autores preguntan si se pueden mejorar las herramientas compartidas a partir de la experiencia anterior de los agentes cuando quienes las mantienen no pueden cambiar a los propios agentes.
Las descripciones de las herramientas influyen en lo que los agentes usan, mientras que las implementaciones determinan la información y los errores que reciben.
AT-AT proporciona a un agente de programación trazas evaluadas y el código fuente de las herramientas para que identifique fallos recurrentes y edite de forma selectiva las descripciones y, cuando está permitido, las implementaciones.
En tareas simuladas de atención al cliente reservadas para la evaluación en Telecom, la recompensa media por completar tareas asignada por el evaluador subió del 29.50% con las herramientas originales al 36.75% con las de AT-AT. La comparación emparejada entre tareas y ensayos repetidos respalda una mejora en este entorno.
El resultado del benchmark corresponde a un único conjunto de herramientas optimizado por cada optimizador, así que no muestra cómo varían los resultados entre distintas ejecuciones de optimización. La evaluación en producción abarcó tres servidores seleccionados durante un solo periodo; hacen falta evaluaciones repetidas en distintos despliegues y momentos para establecer la solidez de los resultados.
Qué muestran las pruebas
- Mejorar las herramientas sin cambiar los agentes
AT-AT (Automatic Tool Optimization from Agent Traces) es un método para mejorar herramientas compartidas a partir de ejecuciones anteriores de agentes que ya fueron evaluadas, sin cambiar los agentes. Esto responde a una limitación práctica descrita por los autores: quienes mantienen herramientas pueden dar servicio a muchos agentes sin poder modificarlos.
La descripción de una herramienta influye en cuál elige un agente y cómo la usa; la implementación determina la información y los errores que recibe después de usarla.
- Usar ejecuciones anteriores para orientar los cambios
El método proporciona a un agente de programación trazas evaluadas y el código fuente de las herramientas; luego, le pide que busque patrones de fallos recurrentes y haga cambios selectivos.
Puede modificar descripciones y, cuando está permitido, implementaciones. La diferencia importa porque unas instrucciones mejores pueden influir en una llamada antes de que ocurra, mientras que los cambios en el código de implementación pueden modificar la información que se devuelve después. Los cambios se hacen sin conexión a partir de ejecuciones existentes y sin ejecutar nuevos agentes durante la optimización.
- Mejora en tareas reservadas de Telecom
La mejora medida más clara apareció en τ²-bench-verified, una prueba en la que agentes realizan tareas simuladas de atención al cliente. En las tareas reservadas de Telecom, la recompensa media por completar tareas asignada por el evaluador subió del 29.50% con las herramientas originales al 36.75% con las herramientas de AT-AT, con un promedio de 30 ensayos por tarea.
Una prueba de permutación emparejada determinó que la diferencia era estadísticamente significativa. El resultado respalda una mejora media en ese entorno, no una afirmación sobre cada tarea o ejecución.
- El control tiene un factor de confusión
Una versión restringida que solo podía editar descripciones rindió bastante peor que AT-AT completo en Airline y Telecom; en Retail, no hubo una diferencia significativa respecto a las herramientas originales. Sin embargo, la comparación cambió dos cosas: el permiso para editar código y la inclusión de las trazas en el mensaje del optimizador dirigido al usuario.
Por tanto, el resultado no aísla el efecto de los cambios en las implementaciones. Por separado, una auditoría con un LLM estimó que Telecom tenía una proporción mayor de fallos que podrían abordarse mediante cambios en la implementación que Retail, aunque la clasificación abarcó solo una pequeña muestra.
- Los resultados en producción variaron
La prueba en producción examinó otro entorno: tres servidores de Netflix, en los que AT-AT editó descripciones a partir de trazas de tareas anteriores. En las tareas reservadas, la tasa de tareas completadas subió en el servidor Engineering Context, se mantuvo igual en Dev Tools y siguió en cero en Collab Toolbox.
Los errores de herramientas o los costes por sesión, o ambos, bajaron en los tres servidores, pero las puntuaciones de contenido también bajaron en dos. Los resultados muestran que los efectos variaron según el servidor y la medida, no un aumento uniforme en la tasa de tareas completadas.
Detalles
- Autores del paper original
- Maya Ravichandran, Pragya Tripathi, Dharamendra Kumar, Adith Swaminathan, Nathan Kallus
- Enviado a arXiv
- Licencia
- CC BY 4.0