FR
Les agents peuvent améliorer leurs outils en regroupant les capacités communes
The Trinity:Capability-Driven Recursive Self-Improvement for Multimodal Agents · arXiv:2610.36077
En termes simples
Trinity est un cadre qui améliore le logiciel organisant les actions et les modules réutilisables d’un agent multimodal, tout en gardant fixe le modèle sous-jacent. Il regroupe les tâches qui demandent des capacités similaires, crée des environnements d’entraînement plus simples pour ces capacités et utilise les retours obtenus pour améliorer le logiciel.
En moyenne, sur 28 tâches d’entraînement et 18 tâches inédites, la quatrième version obtient un score supérieur à celui de la version de départ. Le Base Harness a été évalué sans modules appris ni compétences préparées ; chaque version évoluée utilisait des compétences préparées pour elle à partir de cinq essais.
La comparaison porte donc à la fois sur l’évolution du logiciel et sur les compétences associées aux versions évoluées.
La recherche
Quand les agents doivent accomplir des tâches variées, créer des environnements d’entraînement vérifiables coûte cher, tandis qu’ajuster un système d’action différent pour chaque tâche peut limiter le transfert. Les capacités communes peuvent-elles fournir un principe d’organisation qui aide les progrès à se transférer d’une tâche à l’autre ? Trinity étudie cette question en regroupant les tâches selon les capacités qu’elles exigent.
Trinity regroupe les tâches selon les capacités qu’elles partagent, crée des environnements d’entraînement vérifiables et fait évoluer des modules d’action réutilisables tout en gardant fixe le modèle sous-jacent.
Pour tester le transfert, l’équipe a comparé après une étape deux arbres de capacités : l’un entraîné sur les tâches d’origine, l’autre sur des environnements simulés vérifiés. Les deux avaient la même structure et ont été évalués avec les modules seuls.
Les pilotes ont attribué les résultats ; les chercheurs ont calculé à poids égal les scores propres aux tâches, sur une échelle de 0 à 100, pour 28 tests d’entraînement et 18 tests inédits.
L’entraînement en simulation a obtenu de meilleurs scores dans les deux ensembles, ce qui étaye un transfert, même si les coûts en jetons différaient.
Les comparaisons de scores sont des moyennes calculées sur plusieurs tâches, et les résultats varient selon les tâches. Le cadre modifie le Harness tout en gardant fixes les poids du modèle sous-jacent ; la comparaison avec les robots physiques inclut aussi des compétences préparées séparément, ce qui ne permet pas d’isoler l’évolution des modules de la préparation des compétences.
Les auteurs indiquent que la couverture et la qualité des résultats de la recherche sur le Web peuvent varier, et que l’étude porte principalement sur l’amélioration au niveau du Harness.
Ce que montrent les preuves
- Progresser sur des tâches variées
Trinity est un cadre d’auto-amélioration récursive pour les agents multimodaux. Il agit sur un Harness, le logiciel qui organise les actions d’un agent et ses modules réutilisables, plutôt que de modifier le modèle sous-jacent.
L’article demande comment améliorer ce logiciel sur des tâches variées, alors que la création d’environnements d’entraînement vérifiables est coûteuse et que l’ajustement d’un système distinct pour chaque tâche peut limiter le transfert.
- Regrouper les capacités communes
Le cadre regroupe les tâches selon les capacités qu’elles partagent, puis organise ces groupes dans une hiérarchie appelée arbre de capacités. Creator construit des environnements d’entraînement plus simples et vérifiables pour les besoins communs ; Explorer affine les modules réutilisables du Harness à partir des retours de ces environnements ; enfin, un routeur choisit un Harness compatible avec une tâche. Évaluer les configurations obtenues sur les tâches d’origine permet de vérifier si l’entraînement se transfère au-delà des environnements générés.
- Mesurer les progrès répétés
Les auteurs suivent le Harness de départ au fil de quatre étapes d’amélioration. Des pilotes attribuent un score à chaque tâche, puis les chercheurs calculent la moyenne à poids égal des scores propres aux tâches dans les ensembles d’entraînement et de tests inédits.
Les moyennes passent de 39,06 à 73,16 points sur 28 tests d’entraînement et de 37,45 à 63,61 sur 18 tests inédits. Le Base Harness n’a ni modules appris ni compétences ; chaque version évoluée du Harness utilise des compétences préparées spécifiquement pour elle.
La comparaison reflète donc à la fois l’évolution du Harness et les compétences associées aux versions évoluées.
- Comparer l’entraînement en simulation
Pour vérifier si les environnements d’entraînement favorisent le transfert, les auteurs comparent deux arbres de capacités après une étape.
Les deux utilisent la même structure et sont évalués avec les modules seuls, sans compétences ; l’un apprend à partir des tâches d’origine, l’autre à partir d’environnements simulés vérifiés. La version entraînée en simulation obtient des scores moyens supérieurs dans les deux ensembles, mais utilise davantage de jetons d’entraînement : la comparaison ne permet donc pas d’isoler le seul effet du programme d’entraînement.
- Tester la sélection et le routage
Une comparaison d’ajout de modules vérifie si leur pertinence pour la tâche compte : l’ajout d’un module pertinent au Base Harness donne une moyenne d’entraînement supérieure à celle obtenue avec un module non pertinent.
La comparaison du routage vérifie ensuite si un agent peut choisir un Harness adapté à partir des informations sur la tâche et de l’expérience vérifiée. Ses scores moyens se rapprochent d’une référence Oracle établie rétrospectivement, qui peut choisir le meilleur Harness compatible après avoir vu chaque instance et ne constitue pas une méthode disponible en ligne.
- Évaluer des tâches avec robots
L’étude évalue aussi des configurations complètes associant un Harness et des compétences sur deux tâches réalisées avec des robots physiques. La configuration de base ne réussit aucun épisode de test pour l’une ou l’autre tâche, tandis que la quatrième étape réussit 60 % des épisodes pour chacune.
Comme chaque Harness est associé à des compétences préparées séparément, ces résultats étendent les observations aux tâches physiques, mais ne permettent pas d’attribuer l’amélioration à la seule évolution des modules.
Détails
- Auteurs de l’article original
- Weidong Tang, Ruiheng Wang, Jingxuan Zhang, Hexin Wang, Haoyuan Chen
- Soumis à arXiv
- Licence
- CC BY 4.0