Les faits répétés peuvent fausser les tests de preuve documentaire
En termes simples
Un document peut mentionner plusieurs fois le même fait, alors que les tests ne désignent souvent qu’un seul endroit comme preuve correcte. Un système peut alors sembler s’être trompé en trouvant une copie valable, ou un modèle peut sembler ne pas dépendre d’un fait alors qu’une autre copie reste visible.
Les auteurs ont repéré les passages qui étayent seuls des faits dans deux tests portant sur de longs documents. Le recalcul des scores et les expériences de masquage montrent que ces passages supplémentaires peuvent modifier les scores et cacher une dépendance au fait.
Dans une comparaison sélectionnée portant sur trois modèles, le masquage automatique des copies détectées a comblé une grande partie de l’écart mesuré entre les méthodes de masquage.
La recherche
Quand un document répète un fait, un système doit-il être crédité s’il trouve une copie valide ? Et le retrait d’un seul passage désigné suffit-il à établir qu’une réponse dépend de ce fait ?
La notation et le masquage fondés sur un seul emplacement peuvent induire en erreur lorsqu’une autre occurrence suffisante reste dans le document.
Les auteurs repèrent les emplacements où un fait est répété et mesurent comment la notation et le masquage changent lorsque les copies valides comptent comme preuves.
Pour vérifier si désigner un seul emplacement de preuve par fait fausse l’évaluation, les auteurs ont annoté tous les emplacements suffisants à eux seuls et comparé la notation fondée sur une seule référence à une notation tenant compte des preuves équivalentes.
Pour les 46 questions de MMLongBench-Doc avec des copies strictes sur plusieurs pages, cette dernière a augmenté le rappel de la page en tête de 13,0 à 23,9 points de pourcentage selon les quatre systèmes de recherche ; l’écart était plus faible pour l’ensemble des 208 questions applicables.
Le même problème a modifié les comparaisons de citations : avec la notation révisée, 11,4 % des classements par paires se sont inversés parmi les 65 systèmes MMDocRAG dont le score initial était d’au moins 0,5. Les tests de masquage ont également montré qu’une copie encore visible peut cacher la dépendance au fait.
Ensemble, ces résultats plaident pour une notation qui traite les preuves comme un ensemble lorsque les faits ont des copies strictes.
Les annotations peuvent manquer des copies visibles uniquement dans les images des pages, et un seul modèle de langage a produit toutes les étiquettes.
Des évaluateurs indépendants ont repéré des copies manquées, mais leur examen portait sur des sous-ensembles sélectionnés : les taux rapportés peuvent donc sous-estimer la redondance.
Analyse
Détails
- Auteurs de l’article original
- Xiaokang Yuan, Binhui Yao, Luwei Yang, Ruimin Chen, Zeng Wang
- Soumis à arXiv
- Licence
- arXiv non-exclusive