FR
Un cadre vérifie si les tâches professionnelles peuvent être résolues
WorkFactory: Turning Professional Intents into Executable Work for Scalable Agent Training · arXiv:2610.37161
En termes simples
WorkFactory sert à créer des tâches professionnelles pour entraîner des agents logiciels. Le système part du travail à rendre et remonte jusqu’aux informations nécessaires, puis vérifie que ces éléments figurent dans la demande ou les fichiers.
Un autre solveur essaie la tâche ; les créateurs corrigent les blocages avant qu’un enseignant ne fournisse une démonstration. Dans une étude sur les composants, l’ajout de tests et de réparations à la planification des informations a réduit les problèmes signalés dans les huit catégories.
Sur quatre tests de travail professionnel réalisés à partir de texte seulement, les modèles entraînés avec des démonstrations WorkFactory ont aussi dépassé leurs modèles de base correspondants.
La recherche
Une démonstration d’entraînement n’est utile que si la tâche donne au solveur les éléments nécessaires pour faire le travail. Mais si elle lui fournit déjà la réponse ou les jugements intermédiaires, elle ne montre plus l’enseignant en train d’effectuer ce travail.
Comment les créateurs de tâches peuvent-ils préserver cette limite tout en réunissant des informations dispersées dans plusieurs fichiers ?
WorkFactory planifie les informations nécessaires à chaque tâche, teste les ressources produites et corrige les blocages avant qu’un enseignant distinct ne la résolve.
Dans une analyse des composants, la planification à partir des informations a réduit les problèmes signalés par les tests dans six catégories sur huit, par rapport à la planification directe à partir des fichiers, mais deux catégories se sont aggravées.
Au GDPval-AA, des évaluateurs comparent les travaux soumis aux exigences initiales des tâches professionnelles ; la note Elo résume leurs préférences par paires sur une échelle calibrée. Un modèle étudiant entraîné sur des démonstrations de tâches réparées a obtenu 1 326, contre 1 293 avec la seule planification des informations. Après réparation, les problèmes signalés ont diminué dans les huit catégories.
Les résultats sur les composants proviennent de conditions de synthèse de 5 000 tâches et du modèle étudiant et du dispositif d’entraînement testés. Pour la condition avec réparation, les nombres de défauts sont calculés à partir des rapports de test finaux et comprennent des tâches écartées ensuite parce que des blocages n’avaient pas été résolus.
La comparaison plus large de l’entraînement portait sur trois tailles de modèles pour des tâches résolues à partir de texte seulement ; elle n’a évalué ni l’apprentissage à partir d’éléments visuels ni l’apprentissage par renforcement.
Ce que montrent les preuves
- Définir les limites de la tâche
WorkFactory est un cadre de création de tâches professionnelles exécutables pour entraîner des agents à effectuer du travail. Une tâche peut contenir des fichiers plausibles tout en omettant ou en contredisant des informations nécessaires au travail attendu.
Les créateurs doivent fournir les éléments utiles tout en laissant les calculs et les jugements au solveur, afin que la démonstration de l’enseignant montre bien le travail que la tâche cherche à lui faire accomplir.
- Planifier, tester, réparer
WorkFactory planifie à rebours à partir du résultat attendu. Son graphe de dépendances entre informations et résultats indique de quelles informations le résultat dépend, où elles doivent être accessibles et quels résultats restent à établir par le solveur.
Une fois la tâche construite, un solveur de test distinct l’essaie avec les seuls éléments visibles par le solveur de la tâche. Un réviseur peut corriger les problèmes bloquants liés aux informations justificatives, puis un nouveau test vérifie les changements avant qu’un enseignant reçoive une tâche conservée.
- La planification aide, mais laisse des lacunes
Les chercheurs ont comparé la planification à partir des informations à la planification directe à partir des fichiers, dans deux conditions de synthèse de 5 000 tâches. Un même solveur de test a évalué les tâches.
Une tâche comptait dans une catégorie si son rapport y signalait au moins un problème de blocage ou de justesse ; elle pouvait compter dans plusieurs catégories. La planification a réduit la part des tâches signalées dans six catégories sur huit, mais celle des fuites d’information ou raccourcis et des incohérences internes a augmenté.
Le graphe aide à organiser les informations utiles, mais la planification seule n’a pas évité tous les défauts après la construction des tâches.
- La réparation apporte des éléments supplémentaires
La condition avec réparation a ajouté des tests et des corrections après la planification des informations. Par rapport à la planification seule, ses rapports de test finaux signalaient une part plus faible de tâches dans les huit catégories de défauts.
Séparément, les chercheurs ont entraîné le même modèle étudiant sur les démonstrations issues de chaque condition. Au GDPval-AA, des évaluateurs comparent les travaux soumis aux exigences initiales de la tâche ; la note Elo résume ces préférences par paires sur une échelle calibrée. La note est passée de 1 293 avec la planification seule à 1 326 avec réparation.
Les décomptes de défauts incluent des tâches écartées ensuite parce que des blocages persistaient ; la comparaison ultérieure étaye le processus testé sans prouver que chaque réduction de défauts a causé la hausse de la note.
- Les résultats d’entraînement s’étendent aux tests
Pour la comparaison plus large de l’entraînement, les chercheurs ont entraîné trois modèles WorkPilot à partir de leurs modèles de base Qwen correspondants, avec le même corpus WorkFactory. Les modèles WorkPilot ont dépassé leurs modèles de base sur quatre tests de travail professionnel.
Avec l’analyse des composants, ces résultats étayent l’interprétation des auteurs selon laquelle la création de tâches cohérentes peut rendre les démonstrations d’enseignants plus utiles. Les résultats portent sur trois tailles de modèles évaluées et sur la résolution de tâches à partir de texte seulement.
Détails
- Auteurs de l’article original
- Ziyang Zeng, Tingyang Chen, Jia Deng, Qiyao Wang, Shuo Tang
- Soumis à arXiv
- Licence
- CC BY 4.0