Adapter les éléments de preuve au résultat et à son coût

Un panel de juges peut attribuer des notes plus cohérentes après clarification des consignes, sans qu’une amélioration par rapport aux évaluations d’experts soit détectable. Une réponse peut aussi sembler pertinente sans répondre à la demande.

Ces cas montrent que l’objectif d’un « meilleur jugement » reste incomplet tant que le résultat visé n’est pas précisé.

Les études étayent le choix des éléments de preuve en fonction de l’affirmation à examiner : clarifier les critères pour étudier le consensus, examiner le contenu d’une réponse pour évaluer sa correspondance avec une demande, et observer une application en cours d’utilisation lorsque son comportement compte.

Chaque choix a un champ d’application mesuré et un coût ; la pertinence d’un planificateur budgétaire dépend de la capacité de son essai pilote à représenter les conditions de déploiement.

Imaginons que plusieurs modèles de langage évaluent des résumés d’actualités. Chacun reçoit la même grille, c’est-à-dire un ensemble de consignes de notation, mais les juges peuvent interpréter une clause différemment et attribuer des notes distinctes.

Si une personne chargée de la rédaction harmonise leurs notes, le panel devient plus facile à utiliser. Mais un lecteur qui s’intéresse à la qualité des résumés a besoin d’une autre réponse : ces notes ressemblent-elles à celles des experts ?

L’étude sur les grilles traite l’accord au sein du panel et l’accord avec les experts comme deux résultats distincts.

Sur SummEval, un benchmark de résumés d’actualités, l’étude a comparé les mêmes éléments d’évaluation avec les consignes d’origine et avec une version modifiée. Pour cinq juges, elle a mesuré l’accord à l’aide de l’alpha de Krippendorff, une statistique qui mesure l’accord au-delà de celui attendu par hasard.

En faisant la moyenne, avec un poids égal, des différences d’alpha appariées sur quatre dimensions de notation, la version modifiée obtient 0,069 unité d’alpha de plus que la version d’origine ; l’intervalle à 95 % rapporté va de 0,046 à 0,092.

Cette comparaison porte sur la cohérence des notes attribuées par ces juges, pas sur leur exactitude.

L’étude a aussi comparé les notes du panel aux évaluations d’experts déjà disponibles sur SummEval et n’a détecté aucun changement après les modifications. Cela ne prouve pas que l’accord avec les experts soit resté exactement le même : l’étude indique qu’elle n’a pas détecté d’amélioration de ce résultat.

La question pratique devient alors plus précise. Si la cohérence, l’accord avec les personnes et l’exactitude sont des objectifs différents, quels éléments faut-il fournir à un juge et quel effort consacrer à leur collecte ?