FR
Un modèle enseignant corrigé aide les agents à terminer davantage de tâches
Capable Teacher, Myopic Scorer: Reward-Free Teacher Repair for Agentic On-Policy Distillation · arXiv:2610.28586
En termes simples
L’article présente Rollout-to-Scorer Distillation, une méthode qui améliore les conseils donnés par un modèle enseignant à un agent élève. Le modèle enseignant prend d’abord le relais à certains moments des tentatives de l’élève.
Une copie apprend à attribuer des scores en tenant compte de ces prises de relais, puis guide l’entraînement sans que l’élève voie ces prises de relais. Dans trois environnements de tâches textuelles, les élèves entraînés avec ces scores corrigés ont terminé les tâches plus souvent que ceux entraînés avec quatre méthodes de comparaison. Le résultat se limite aux modèles et environnements testés.
La recherche
Quand un élève passe des tours à chercher ou à vérifier, les conseils mot à mot d’un modèle enseignant peuvent-ils lui indiquer quels gestes l’aideront réellement à terminer ?
Dans la distillation ordinaire d’agents, le modèle enseignant évalue les mots de l’élève sans voir la fin de l’épisode ; un détour qui semble raisonnable sur le moment peut donc être accepté sans tenir compte de son effet sur l’achèvement.
Rollout-to-Scorer Distillation corrige les scores d’un modèle enseignant à l’aide de prises de relais sélectionnées, puis fige le modèle corrigé pour l’entraînement ordinaire de l’élève.
Pour examiner cet écart, les auteurs ont comparé les prises de relais du modèle enseignant aux résultats de l’élève depuis les mêmes états de désaccord élevé, dans trois types de tâches textuelles : activités ménagères, achats et expériences scientifiques.
Le modèle enseignant terminait plus souvent les tâches, ce qui suggère que ces états restaient dans son champ de compétence.
Les évaluateurs ont calculé la réussite moyenne sur trois générations échantillonnées à partir de chaque point de contrôle final.
R2S a obtenu un score supérieur à celui de la distillation ordinaire et de trois méthodes récentes dans les douze combinaisons testées de modèles et d’environnements, ce qui étaye la correction dans ces configurations.
La comparaison principale repose sur une seule exécution d’entraînement de 150 étapes par cellule modèle-environnement, et les méthodes comparées ont conservé leurs propres réglages.
Les résultats portent sur les modèles Qwen et les environnements textuels rejouables qui ont été testés ; ils ne permettent pas de conclure au-delà de ces cas.
Ce que montrent les preuves
- Corriger les scores du modèle enseignant
Rollout-to-Scorer Distillation (R2S) corrige les scores d’un modèle enseignant avant de les utiliser pour entraîner un agent élève par distillation on-policy (OPD). En OPD, l’élève agit dans un environnement et apprend à partir des scores que le modèle enseignant attribue à ses mots.
L’article examine si ces conseils mot à mot omettent des informations sur la capacité des actions de l’élève à mener à l’achèvement de la tâche.
- Pourquoi les conseils peuvent retarder l’achèvement
En OPD ordinaire, le modèle enseignant évalue chaque mot de l’élève à partir de l’historique disponible, sans voir la fin de l’épisode. Une recherche ou une vérification supplémentaire peut donc sembler raisonnable en elle-même, même si elle prend des tours dont l’élève a besoin pour terminer.
Les auteurs appellent « rollout–scorer gap » l’écart entre ce que le modèle enseignant accomplit dans une suite complète et ce que ses scores communiquent.
- Vérifier l’hypothèse de dérive
Pour vérifier si les élèves dépassent simplement les capacités du modèle enseignant, les auteurs ont comparé les résultats depuis les mêmes états de désaccord élevé. Dans les tâches ménagères d’ALFWorld, les achats de WebShop et les expériences scientifiques de ScienceWorld, les prises de relais du modèle enseignant réussissaient plus souvent que les tentatives de l’élève depuis ces états.
Cela suggère que les états testés restaient gérables par l’enseignant et désigne les scores comme une source possible de l’écart.
- Les résultats étayent la correction des scores
R2S utilise des prises de relais sélectionnées du modèle enseignant pour corriger les scores attribués au propre texte de l’élève, puis entraîne l’élève avec le modèle de score corrigé. Les évaluateurs ont constaté une réussite supérieure à celle de l’OPD ordinaire et de trois méthodes récentes dans les douze combinaisons testées de modèle enseignant, d’élève et d’environnement.
Dans une étude d’ablation distincte, deux contrôles sans récompense de tâche ont aussi placé l’élève au-dessus de l’OPD ordinaire dans les trois environnements pour une paire enseignant-élève.
Détails
- Soumis à arXiv
- Licence
- CC BY 4.0