Intern-Decision évalue les choix structurés en un passage
En termes simples
Beaucoup de tâches interactives demandent à un agent de choisir dans une courte liste, par exemple un outil ou une action. Intern-Decision est une famille de modèles qui fait ces choix à partir de texte et, éventuellement, d’images.
Le modèle évalue directement les réponses disponibles dans le format structuré demandé, au lieu de rédiger une réponse complète qu’un autre système devrait ensuite interpréter. Sur sept ensembles de tests, la précision moyenne du modèle 4B était supérieure à celle de Jev selon les protocoles d’évaluation rapportés. Les ensembles n’ont pas tous favorisé le même système, et cette comparaison ne montre pas ce qui explique l’écart.
La recherche
Quand un agent doit choisir un outil ou une action dans une liste fixe, générer une réponse complète peut ajouter du travail avant que le système concerné puisse utiliser le choix.
Un modèle peut-il renvoyer directement des choix structurés et leurs probabilités, même si la demande comporte plusieurs champs ?
Intern-Decision évalue en un passage les réponses prédéfinies de plusieurs champs et renvoie des choix structurés avec leurs probabilités, sans générer de réponse libre.
Intern-Decision évalue les réponses autorisées aux emplacements réservés d’une réponse structurée et traite plusieurs champs demandés en un seul passage.
Les auteurs comparent ses modèles à d’autres systèmes sur sept ensembles, en mesurant la précision des décisions et en calculant une moyenne qui donne le même poids à chaque ensemble.
La moyenne du modèle 4B est de 90.02%, contre 88.74% pour Jev. Cela indique une moyenne supérieure pour les systèmes évalués selon ces protocoles, même si certains résultats diffèrent d’un ensemble à l’autre.
La comparaison de précision porte sur les systèmes évalués et les ensembles de tests utilisés ; elle ne permet pas d’isoler l’effet de l’évaluation conjointe de plusieurs champs ni celui de la taille du modèle.
Les exemples publics de Jevbench ont contribué au développement : ils servent donc au diagnostic et ne constituent pas une preuve indépendante de généralisation.
Analyse
Détails
- Auteurs de l’article original
- Tong Zhu, Zhe Xu, Zefeng He, Yunkai Chai, Xuyang Hu
- Soumis à arXiv
- Licence
- CC BY-SA 4.0