FR
Un cadre peut nuire à un agent figé, puis l’aider après réentraînement
Your Policy Is Secretly a Harness: The Decision Geometry of Agent Interfaces · arXiv:2610.37255
En termes simples
Le cadre d’exécution d’un agent regroupe les consignes, les outils et les règles qui guident un modèle de langage dans une tâche. Cet article présente une méthode et une théorie pour distinguer ce qu’un cadre pourrait permettre d’obtenir de la façon dont un modèle entraîné particulier s’en sert.
Dans un test de tâches sur le Web, modifier la présentation des observations a nui à un modèle figé, même si les meilleures décisions restaient les mêmes. Dans un autre test, un nouveau cadre a d’abord nui au modèle, puis l’a aidé à mieux réussir après un entraînement supplémentaire. Ces résultats concernent les modèles et les tâches testés.
La recherche
Quand un agent fondé sur un modèle de langage réussit moins bien après une modification de ses consignes, de ses outils ou de sa logique de contrôle, le nouveau cadre est-il moins performant, ou le modèle entraîné y est-il simplement mal adapté ?
Une comparaison avec un modèle figé ne permet pas, à elle seule, de distinguer ces explications ; pourtant, la réponse change la façon d’interpréter une révision du cadre.
La méthode distingue le rendement maximal possible d’un cadre du décalage d’un modèle, puis examine comment le réentraînement modifie l’intérêt d’une révision.
Les auteurs modélisent la façon dont un cadre d’exécution d’agent façonne les décisions et le rendement, puis distinguent le potentiel du cadre de l’adéquation du modèle entraîné.
Cette approche permet de demander si une révision qui réduit le score d’un modèle figé peut tout de même être avantageuse après un entraînement supplémentaire.
Dans MiniWoB++, le changement de H0 à H1 a réduit la réussite du modèle figé, mais la branche adaptée à H1 a dépassé le point de contrôle H0 initial et une poursuite de l’entraînement sous H0 avec le même nombre de mises à jour, pour l’accomplissement exact des tâches.
Ce résultat appuie l’explication selon laquelle l’adaptation peut réduire suffisamment le décalage pour tirer parti du potentiel supérieur d’un cadre.
Les résultats théoriques supposent des états et des actions en nombre fini, des récompenses bornées et d’autres conditions communes pour les comparaisons. Pour estimer le plafond des agents de programmation, l’étude utilise un modèle plus puissant comme substitut à un modèle optimal, à partir de trois tâches de sondage.
Elle n’établit ni que ce modèle est optimal ni que ces estimations se généralisent à d’autres systèmes.
Ce que montrent les preuves
- Ce que mesure la comparaison de cadres
L’article présente une méthode et une théorie pour analyser les cadres d’exécution d’agents : les consignes, les outils et la logique de contrôle qui présentent des tâches à un modèle de langage et exécutent ses réponses.
Il demande si comparer des cadres avec un modèle fixe mesure le potentiel du cadre ou l’adéquation du modèle à celui-ci. Cette distinction compte parce qu’un modèle entraîné peut conserver des préférences apprises avec son cadre d’origine.
- Distinguer potentiel et adéquation
La théorie décompose le rendement obtenu en deux parties : le plafond du cadre, soit le meilleur rendement qu’une politique puisse atteindre avec ce cadre, et le décalage d’adaptation, soit le rendement qu’une politique donnée perd à cause de ses décisions.
Le rendement obtenu équivaut au plafond moins le décalage. L’entraînement avec un cadre fixe modifie le décalage, tandis qu’une révision du cadre peut modifier les deux termes ; le score d’un modèle figé peut donc les confondre.
- Même décision optimale, comportement différent
Un contrôle de présentation a évalué un point de contrôle Qwen3.5-2B figé, entraîné sous H0. Inverser l’ordre des champs de l’observation tout en conservant leur contenu et les règles de la tâche n’a pas changé les décisions optimales.
Pourtant, l’action la plus probable du modèle a changé dans 52 % des états, et l’accomplissement exact de la tâche est passé de 85.0 % à 19.2 % sur le jeu de test MiniWoB++ fixe. Pour ce changement testé, l’interface a influé sur la manière dont le modèle exprimait ses préférences apprises.
- Une révision avantageuse après entraînement
Le test de H0 à H1 a ajouté des paires ordonnées de clics que l’agent pouvait exécuter en une seule décision. Avec les poids figés, la réussite a chuté de 85.05 % sous H0 à 72.90 % sous H1.
Après 1,024 mises à jour supplémentaires sous H1, elle a atteint 88.17 %, dépassant à la fois le point de contrôle initial sous H0 et une poursuite de l’entraînement sous H0 avec le même nombre de mises à jour, qui a atteint 83.37 %. Dans ce test, la révision qui nuisait au modèle figé l’a aidé après adaptation.
- Tester les prédictions au-delà d’un seul changement
Avant l’adaptation, les estimations du plafond et du décalage par les auteurs ont mieux classé les gains ultérieurs dans huit changements admissibles de cadre que ne l’ont fait les variations de rendement avec un modèle figé.
Une étude distincte sur des agents de programmation a constaté que les estimations fondées sur un modèle enseignant classaient cinq cadres dans le même ordre que leur précision mesurée, bien que ce modèle n’ait pas été établi comme optimal. Ensemble, ces résultats appuient l’évaluation séparée du potentiel d’un cadre et de l’adéquation d’un modèle particulier, dans les contextes testés.
Détails
- Auteurs de l’article original
- Jian Mu, Ruibo Shen, Yao Shu
- Soumis à arXiv
- Licence
- CC BY 4.0