FR
Un test pour savoir si les agents réutilisent leur expérience
Continual Learning Exam: Benchmarking Long-Horizon RSI and Experiential Learning in LLM Agents · arXiv:2610.33956
En termes simples
Le Continual Learning Exam cherche à savoir si des agents fondés sur des modèles de langage peuvent se servir de ce qu’ils ont appris sur une mission pour accomplir les suivantes. Ses 120 tâches comportent chacune cinq étapes liées, et l’agent doit réussir chaque étape pour accéder à la suivante.
Dans les 17 configurations testées, les retours et une possibilité de révision après un échec ont augmenté de 5,33 points de pourcentage le taux médian de réussite, calculé sur les 600 niveaux. Comme les deux essais combinent ces changements, ils ne permettent pas d’isoler l’effet de l’expérience conservée d’une tâche à l’autre.
La recherche
Beaucoup de tests évaluent les tâches une par une et ne peuvent donc pas dire si l’expérience d’un agent l’aide dans ses missions suivantes. Il reste difficile de mesurer ce transfert entre des missions où le travail ultérieur peut dépendre d’informations, de fichiers et de procédures antérieurs.
Le Continual Learning Exam relie des missions professionnelles en parcours à niveaux successifs pour mesurer si les agents réutilisent leur expérience.
Les agents peuvent-ils s’appuyer sur leurs missions précédentes pour mieux réussir les suivantes ? Le Continual Learning Exam relie cinq missions distinctes au sein de chaque tâche professionnelle et oblige l’agent à réussir chaque niveau pour avancer.
Un évaluateur distinct vérifie les soumissions selon des critères définis par des humains, tandis que le taux de réussite global compte les niveaux réussis parmi les 600.
Sur 17 configurations, le taux médian de réussite a augmenté de 5,33 points de pourcentage lorsque les agents pouvaient recevoir un retour et réviser leur travail après un échec.
La comparaison indique un bénéfice de cette possibilité combinée, mais la meilleure configuration testée a tout de même réussi moins de la moitié des niveaux.
La comparaison entre les essais modifie à la fois les retours et la possibilité de réviser. Elle ne permet donc pas de mesurer la contribution de l’expérience conservée d’une tâche à l’autre.
Les résultats décrivent les configurations testées, dans cet ordre de tâches et selon cette procédure d’évaluation.
Ce que montrent les preuves
- Une mesure qui manque
Le Continual Learning Exam (CLE) est un benchmark qui évalue si des agents fondés sur des modèles de langage peuvent conserver et réutiliser leur expérience dans des missions professionnelles. Beaucoup de tests évaluent chaque tâche séparément, tandis que les tests de mémoire demandent aux agents de retrouver des informations dans des historiques.
Aucun de ces formats ne mesure directement si l’expérience améliore l’exécution de tâches ultérieures. Le CLE vise à combler cette lacune en reliant les tâches et en mesurant la progression dans un flux de travail prolongé.
- Les missions s’enchaînent
Chacune des 120 tâches du CLE est un parcours de cinq niveaux, constitué de missions distinctes dans un même contexte professionnel. Les niveaux suivants peuvent dépendre de fichiers, d’informations, de procédures, de stratégies, de préférences d’utilisateurs ou de connaissances du domaine provenant des niveaux précédents.
Les agents n’avancent qu’après avoir réussi le niveau en cours. Les missions suivantes dépendent ainsi de la progression antérieure, et un échec peut empêcher d’atteindre les niveaux restants de la tâche.
- Comment les performances sont évaluées
Un agent évaluateur distinct vérifie chaque soumission à partir de critères de grille et de documents de référence définis par des humains, qui restent cachés à l’agent testé. Tous les critères doivent être satisfaits.
Dans l’essai 1, l’agent ne peut soumettre qu’une fois par niveau et ne reçoit aucun retour diagnostique ; dans l’essai 2, il reçoit un retour après un premier échec et peut réviser une fois son travail. Le taux de réussite global est la part des 600 niveaux réussis, ceux qui n’ont pas été atteints étant comptés comme des échecs.
- Les retours aident, avec des limites
Sur les 17 configurations, le taux médian de réussite global a augmenté de 5,33 points de pourcentage entre l’essai 1 et l’essai 2.
La comparaison mesure l’effet combiné du retour diagnostique et de la possibilité supplémentaire de réviser. La meilleure configuration testée dans l’essai 2 a réussi 47,67 % des niveaux : même avec cette possibilité supplémentaire, l’achèvement de tout le parcours n’était donc pas courant parmi les systèmes testés.
- La progression s’érode au fil des niveaux
Parmi les configurations, le taux médian de réussite cumulative est passé de 62,50 % au premier niveau à 8,33 % au cinquième. Ces taux correspondent à la part des 120 tâches dans lesquelles le premier niveau, ou les cinq premiers, ont tous été réussis ; le taux au cinquième niveau correspond donc à l’achèvement de la tâche entière.
Cet écart marqué montre que les progrès initiaux ne se prolongeaient souvent pas sur l’ensemble du parcours. Comme les essais ne permettent pas non plus d’isoler les connaissances conservées, ils ne peuvent pas établir leur contribution aux performances.
Détails
- Auteurs de l’article original
- Haoyu Zhao, Sitian Tu, Yuxuan Huang, Huichi Zhou, Zhangyue Yin
- Soumis à arXiv
- Licence
- CC BY 4.0