ES
Un método crea interacciones fundamentadas para usar herramientas
Trajectory2Gym: Decision-Grounded Compositional Interaction Synthesis for Tool-Use Agents · arXiv:2610.33568
En palabras sencillas
Los agentes que usan herramientas aprenden de ejemplos de conversaciones y acciones, pero muchos ejemplos pueden ser breves o no mostrar cómo recuperarse después de un error. Este artículo presenta Trajectory2Gym, un método que crea interacciones en entornos de tareas reales y conserva una acción como objetivo de entrenamiento solo cuando el agente podía justificarla con lo que había visto.
Los autores entrenaron cinco tamaños de modelo Qwen3 con estos datos. En comparación con sus respectivas versiones iniciales, todos obtuvieron puntuaciones más altas en las tareas evaluadas de uso de herramientas con estado y de llamada a funciones.
La evaluación tiene límites, entre ellos que, para un grupo de tareas de Tau1, se evaluaron tareas conocidas durante la construcción de las interacciones.
La investigación
Un ejemplo de uso de herramientas puede terminar con éxito sin enseñar al agente cómo depende una decisión posterior de la evidencia previa, ni si una acción estaba justificada por lo que el agente podía ver. En el corpus común de los autores, eran poco frecuentes los ejemplos con decisiones prolongadas y recuperación fundamentada tras errores.
¿Se pueden construir datos de entrenamiento que cubran esas dependencias y mantengan los objetivos justificables a partir del historial del propio agente?
Trajectory2Gym construye interacciones de uso de herramientas que cubren dependencias poco representadas, comprueba los objetivos frente a la evidencia visible y asigna el mismo peso a cada interacción durante el entrenamiento.
Los autores entrenaron cada uno de cinco tamaños de Qwen3 durante una época con interacciones seleccionadas y ponderadas por Trajectory2Gym, y luego lo compararon con su propia inicialización pública.
En Tau1 y Tau2, que evalúan el uso de herramientas con estado, aumentó en todos los tamaños el promedio con igual ponderación de las medias de éxito en tareas nativas; también aumentó la puntuación Overall de BFCL, que evalúa el uso de funciones.
Estas comparaciones emparejadas respaldan la conclusión de que la receta completa de ajuste posterior mejoró las puntuaciones en las tareas evaluadas bajo las condiciones informadas.
Los controles emparejados de 8B también apuntan a contribuciones de los objetivos fundamentados y de la selección estructural, aunque sus pequeñas mejoras son evidencia direccional.
Los resultados emparejados abarcan los modelos Qwen3 y las poblaciones de tareas evaluadas, y cada tarea se ejecutó una vez. Tau1 Airline usa las mismas identidades de tareas al construir las interacciones para entrenamiento y al evaluar, por lo que en ese caso no evalúa la generalización a tareas distintas. Los controles de un solo ensayo con Qwen3-8B aportan evidencia direccional de mejoras pequeñas.
Qué muestran las pruebas
- La carencia en los datos
Trajectory2Gym es un método para construir y seleccionar interacciones de entrenamiento para agentes que usan herramientas. Aborda dos carencias del corpus común disponible: el 40.9% de sus 34,772 interacciones certificadas tenía como máximo dos decisiones supervisadas del asistente, y el 10.0% incluía una decisión fundamentada después de un error auténtico.
Estas cifras del corpus motivan una mayor cobertura de las dependencias de varios pasos y de la recuperación; no describen todos los datos de uso de herramientas.
- Construir experiencia real
Para añadir la experiencia que falta, el método representa las dependencias entre decisiones y observaciones como rutas composicionales. Genera tareas para las rutas con poco respaldo y luego las ejecuta en entornos nativos.
Una ruta propuesta solo cuenta si sus dependencias aparecen realmente en la interacción resultante. Así, el conjunto de entrenamiento refleja la experiencia que el agente encontró, en vez de estructuras que el generador solo pretendía producir.
- Comprobar cada decisión
Que una interacción termine con éxito no convierte cada acción en un objetivo adecuado. Trajectory2Gym comprueba que las decisiones supervisadas respeten el flujo de trabajo requerido, sean válidas localmente y puedan justificarse con información visible para el agente en el momento de decidir.
La acción rechazada y el error auténtico pueden conservarse como contexto, aunque la acción fallida no se imita; una recuperación fundamentada sí puede convertirse en objetivo.
- Comparar los modelos entrenados
Los autores entrenaron cinco tamaños de Qwen3 durante una época y compararon cada uno con su propia inicialización pública. Tau1 y Tau2 miden el éxito en tareas nativas de uso de herramientas con estado, con el mismo peso para cada dominio; su promedio con igual ponderación aumentó en todos los tamaños.
BFCL mide el uso de funciones en grupos de tareas sin interacción en vivo, en vivo y de varios turnos, y su puntuación Overall también aumentó en todos los tamaños.
- Examinar dos componentes
Los controles emparejados con Qwen3-8B examinaron dos componentes del método. Con las interacciones y los historiales visibles fijos, los objetivos fundamentados en las decisiones elevaron en 2.75 puntos el promedio de las tres pruebas frente a objetivos más permisivos derivados del éxito.
Con la selección y el presupuesto de tokens igualados, la selección estructural cubrió 942 rutas canónicas más y elevó ese promedio en 2.32 puntos, aunque BFCL bajó ligeramente. Estos controles de un solo ensayo aportan evidencia direccional, no estimaciones aditivas de la mejora total del método.
Detalles
- Autores del paper original
- Yihao Hu, Zhihao Wen, Yitong Lin, Siyuan Lu, Pan Wang
- Enviado a arXiv
- Licencia
- arXiv non-exclusive