Les désaccords entre juges clarifient les barèmes, pas leur proximité avec les humains
En termes simples
Quand plusieurs modèles de langage utilisent le même guide de notation, ils peuvent diverger parce qu’ils interprètent certaines règles différemment. Cet article présente une méthode pour repérer ces règles contestées sans utiliser les notes humaines pour les choisir : un modèle éditeur clarifie les clauses sur lesquelles les juges ne sont pas d’accord.
Lors d’une évaluation de résumés d’actualité, les cinq juges ont été plus réguliers après la clarification des clauses sélectionnées. Leurs notes ne se sont pas rapprochées de façon détectable de celles des experts, et le même gain de régularité n’a pas été observé sur les deux autres jeux de données évalués.
La recherche
Quand les juges ne s’accordent pas sur un barème d’évaluation, un modèle éditeur devrait-il clarifier les clauses contestées ? Même si cela améliore leur accord, leurs notes correspondent-elles alors mieux aux jugements humains ?
L’article évalue séparément ces deux résultats, car le consensus entre juges ne révèle pas à lui seul quelle interprétation les personnes visées avaient en tête.
La méthode utilise les désaccords entre juges pour choisir les clauses du barème à clarifier, puis mesure séparément la régularité des juges et leur accord avec les notes humaines.
Les auteurs ont clarifié les clauses sur lesquelles les juges étaient en désaccord, puis ont comparé les notes obtenues sur des éléments d’évaluation distincts à celles attribuées avec le barème d’origine. Sur SummEval, les cinq juges ont été plus réguliers avec les clauses modifiées.
Un contrôle apparié a montré un gain similaire uniquement lorsque les clauses contestées étaient ciblées, et non lorsque la même procédure modifiait le même nombre de clauses non sélectionnées.
Pourtant, les notes moyennes des juges ne suivaient pas de façon détectable celles des experts. Dans cette évaluation, la méthode a donc renforcé le consensus sans montrer que celui-ci reflétait mieux les jugements humains.
Les données portent sur trois jeux de données en anglais, dotés d’annotations humaines préexistantes, et sur une seule modification de chaque clause sélectionnée. Les auteurs n’ont transféré aucun critère vers du code ; cette étape n’a donc pas été évaluée.
Analyse
Détails
- Auteurs
- Sangdo Han, Moonsoo Kim
- Licence
- arXiv non-exclusive