FR
Une méthode crée des interactions d’entraînement ancrées pour l’usage d’outils
Trajectory2Gym: Decision-Grounded Compositional Interaction Synthesis for Tool-Use Agents · arXiv:2610.33568
En termes simples
Les agents qui utilisent des outils apprennent à partir d’exemples de conversations et d’actions. Or, beaucoup d’exemples peuvent être courts ou ne pas montrer comment reprendre après une erreur.
Cet article présente Trajectory2Gym, une méthode qui crée des interactions dans de vrais environnements de tâches et ne conserve une action comme cible d’apprentissage que si l’agent pouvait la justifier à partir de ce qu’il avait vu.
Les auteurs ont entraîné cinq tailles de modèles Qwen3 avec ces données. Par rapport à leur version initiale, chaque taille a obtenu de meilleurs scores sur les tâches d’utilisation d’outils avec état évolutif et sur les tâches d’appel de fonctions.
L’évaluation a toutefois des limites, notamment parce qu’un groupe de tâches Tau1 reprend des tâches déjà utilisées pour construire les interactions d’entraînement.
La recherche
Un exemple d’utilisation d’outils peut se terminer avec succès sans apprendre à l’agent comment une décision ultérieure dépend des informations précédentes, ni si une action était justifiée par ce qu’il pouvait voir. Dans le corpus commun des auteurs, les exemples comportant plusieurs décisions et une reprise fondée sur les informations disponibles après une erreur étaient rares.
Peut-on créer des données d’entraînement qui couvrent ces dépendances tout en s’assurant que les actions ciblées sont apprenables à partir de l’historique de l’agent ?
Trajectory2Gym construit des interactions d’utilisation d’outils autour de dépendances sous-représentées, vérifie les cibles à partir des informations visibles et attribue le même poids à chaque interaction pendant l’entraînement.
Les auteurs ont entraîné chacune des cinq tailles de Qwen3 pendant une époque sur des interactions sélectionnées et pondérées par Trajectory2Gym, puis l’ont comparée à sa propre version initiale publique.
Sur Tau1 et Tau2, qui évaluent l’utilisation d’outils dans des tâches où l’état évolue, la moyenne à poids égal des moyennes de réussite des tâches dans leur environnement natif a augmenté pour chaque taille ; le score Overall de BFCL, qui évalue l’appel de fonctions, a lui aussi progressé.
Ces comparaisons appariées étayent la conclusion que, dans les conditions rapportées, la méthode complète de post-entraînement a amélioré les scores sur les tâches testées.
Des contrôles appariés sur Qwen3-8B indiquent également que les cibles fondées sur les informations disponibles et la sélection structurelle peuvent contribuer aux résultats, même si leurs gains modestes restent des indices directionnels.
Les résultats comparés portent sur les modèles Qwen3 et les populations de tâches testés, chaque tâche ayant été exécutée une seule fois. Pour Tau1 Airline, les mêmes identifiants de tâches ont servi à construire les interactions d’entraînement et à l’évaluation : ce test ne mesure donc pas la généralisation à des tâches disjointes.
Les contrôles sur Qwen3-8B, exécutés une seule fois par condition, fournissent des indices sur le sens des gains modestes.
Ce que montrent les preuves
- La lacune des données
Trajectory2Gym est une méthode de création et de sélection d’interactions d’entraînement pour des agents utilisant des outils. Elle vise deux lacunes du corpus commun disponible : 40,9 % de ses 34 772 interactions certifiées comportaient au plus deux décisions de l’assistant utilisées pour l’apprentissage, et 10,0 % incluaient une décision fondée sur les informations disponibles après une erreur réelle.
Ces chiffres motivent une meilleure couverture des dépendances en plusieurs étapes et des reprises après erreur ; ils ne décrivent pas toutes les données d’utilisation d’outils.
- Construire une expérience réelle
Pour ajouter les expériences manquantes, la méthode représente les dépendances entre décisions et observations sous forme de compositional paths. Elle génère des tâches pour les schémas trop peu représentés, puis les exécute dans leurs environnements natifs.
Un schéma ne compte que si ses dépendances apparaissent réellement dans l’interaction produite. Les données d’entraînement reflètent ainsi ce que l’agent a effectivement rencontré, plutôt que ce que le générateur voulait produire.
- Vérifier chaque décision
La réussite d’une interaction ne suffit pas à faire de chaque action une bonne cible d’apprentissage. Trajectory2Gym vérifie que les décisions supervisées respectent le déroulement requis, sont valides localement dans l’environnement et peuvent être justifiées par les informations visibles par l’agent au moment de la décision.
Une action rejetée et l’erreur réelle qu’elle provoque peuvent rester dans l’historique comme contexte ; l’action ratée n’est pas imitée, tandis qu’une reprise fondée sur les informations disponibles peut devenir une cible.
- Comparer les modèles entraînés
Les auteurs ont entraîné cinq tailles de Qwen3 pendant une époque et comparé chacune à sa propre version initiale publique. Tau1 et Tau2 mesurent la réussite des tâches dans leur environnement natif pour des tâches d’utilisation d’outils où l’état évolue, avec une moyenne à poids égal entre les domaines ; la moyenne à poids égal de leurs scores a augmenté pour toutes les tailles.
BFCL mesure l’appel de fonctions sur des groupes de tâches hors ligne, en direct et à plusieurs tours d’échange. Son score Overall a lui aussi progressé pour chaque taille.
- Examiner deux composantes
Des contrôles appariés sur Qwen3-8B ont examiné deux composantes de la méthode. En conservant les interactions et les historiques visibles, les cibles fondées sur les informations disponibles au moment de la décision ont augmenté de 2,75 points la moyenne des trois tests, par rapport à des cibles établies à partir de la seule réussite.
Avec un nombre d’interactions sélectionnées et un budget de jetons identiques, la sélection structurelle a couvert 942 schémas canoniques de plus et augmenté cette moyenne de 2,32 points, même si BFCL a légèrement reculé.
Exécutés une seule fois par condition, ces contrôles indiquent une direction ; leurs gains ne peuvent pas être additionnés pour estimer l’effet global de la méthode.
Détails
- Auteurs de l’article original
- Yihao Hu, Zhihao Wen, Yitong Lin, Siyuan Lu, Pan Wang
- Soumis à arXiv
- Licence
- arXiv non-exclusive