FR
Les scores de RVL-CDIP reflètent plus que la reconnaissance des documents
Data Quality in RVL-CDIP: A Systematic Audit · arXiv:2610.32126
En termes simples
Un jeu de test pour classer des documents doit montrer si un modèle sait reconnaître leur type. Larson et Leach ont audité RVL-CDIP, une collection de documents numérisés largement utilisée, car ses scores élevés pouvaient aussi refléter des défauts de la collection.
Ils ont trouvé des pages mal étiquetées, des pages répétées entre l’entraînement et le test, ainsi que des indices — comme des codes d’identification imprimés — qui permettent de prédire la catégorie d’une page. Après avoir corrigé plusieurs problèmes ensemble, 13 modèles réentraînés ont obtenu des scores globaux légèrement supérieurs.
L’audit montre que les scores de RVL-CDIP mêlent la capacité à classer des documents et les particularités de cette collection ; il ne permet pas de conclure sur les performances pour tous les documents.
La recherche
Quand les scores d’un jeu de test pour classer des documents deviennent très élevés, montrent-ils que les modèles savent reconnaître le type de document, ou qu’ils ont appris les particularités de cette collection ? RVL-CDIP provient d’une archive constituée pour la communication de pièces dans le cadre de procédures judiciaires et ne disposait pas de critères de catégorisation publiés ; cette distinction compte donc pour interpréter la précision annoncée.
Larson et Leach auditent les étiquettes, les recoupements, les raccourcis, la couverture et la lecture du texte de RVL-CDIP pour montrer comment ses défauts façonnent les scores de classification.
Larson et Leach cherchent à savoir si la forte précision obtenue sur RVL-CDIP reflète la capacité à classer des documents ou l’adaptation des modèles aux caractéristiques propres au benchmark.
Leur audit systématique examine les étiquettes, les recoupements entre pages d’entraînement et de test, les raccourcis visuels, la couverture et la procédure de lecture du texte.
Ils trouvent des erreurs et des raccourcis susceptibles d’influer sur les scores, puis réentraînent des modèles en corrigeant les étiquettes, en retirant les codes d’identification et en traitant ensemble les doublons détectés. Pour les 13 modèles, la précision est supérieure de 0,9 à 2,9 points à celle obtenue dans la condition d’origine.
Ces résultats étayent leur interprétation : les scores de RVL-CDIP reflètent à la fois la capacité de classification et l’apprentissage des défauts du benchmark.
L’audit porte sur RVL-CDIP, les modèles et les procédures de correction testés. Les erreurs d’étiquetage ont été évaluées selon des critères rédigés par les auteurs ; l’audit n’a pas mesuré dans quelle mesure le préentraînement sur une archive source contenant des pages de test de RVL-CDIP a contribué aux résultats de certains modèles.
Ce que montrent les preuves
- Que mesure le score ?
L’article de Larson et Leach est un audit systématique de RVL-CDIP, un jeu de test conçu pour classer des types de documents. La collection a été constituée pour la collecte de pièces dans le cadre de procédures judiciaires, et non pour évaluer l’apprentissage automatique ; sa publication ne précisait pas ce que chaque catégorie devait contenir.
L’audit demande si les scores élevés reflètent la reconnaissance des types de documents ou l’apprentissage des caractéristiques propres à cette collection.
- Les étiquettes étaient parfois peu fiables
Les auteurs ont défini des critères pour les catégories, puis une équipe a examiné manuellement les 400 000 documents en fonction de ces critères. Ils ont constaté que 10,51 % des documents avaient une étiquette inconnue, erronée ou mixte ; en comptant les cas incertains comme des erreurs, le taux atteignait 11,48 %.
Une autre équipe pourrait tracer certaines frontières entre catégories différemment : ces taux décrivent donc les erreurs selon les critères publiés par les auteurs.
- Plusieurs raccourcis influent sur la précision
D’autres vérifications ont mis en évidence différentes sources de déformation des scores. Une recherche affinée a trouvé un doublon ou une page utilisant le même modèle dans les données d’entraînement pour 35,19 % des pages de test, un chiffre minimal.
Un classificateur utilisant uniquement les caractéristiques des codes d’identification liés aux procédures judiciaires a atteint une précision de 69,2 % dans 16 catégories. Par ailleurs, remplacer le logiciel de lecture du texte tout en gardant identiques l’architecture du modèle et les réglages d’entraînement a augmenté la précision de 4,1 à 8,3 points de pourcentage pour les quatre modèles testés.
- Les corrections conjointes ont changé les scores
Les auteurs ont réentraîné 13 modèles après avoir corrigé les étiquettes, retiré les codes d’identification et exclu les pages de test ayant une correspondance détectée dans les données d’entraînement. Leur précision était supérieure de 0,9 à 2,9 points de pourcentage à celle obtenue dans la condition d’origine.
Comme les corrections étaient combinées et que les pages évaluées différaient, cette comparaison montre le résultat de l’ensemble des corrections, et non l’effet distinct de chacune.
- Les scores ne se retrouvaient pas entièrement ailleurs
Les auteurs ont aussi évalué les mêmes modèles d’images sur des documents nouvellement recueillis auprès d’autres sources. Les sept modèles d’images entraînés avec les étiquettes d’origine ont obtenu une précision inférieure de 21,6 à 27,9 points de pourcentage sur cette collection par rapport au jeu de test du benchmark.
L’écart persistait pour les modèles d’images entraînés avec des étiquettes corrigées, tandis qu’il avait presque disparu pour plusieurs modèles de texte et de mise en page. Cette comparaison porte sur une petite collection de 12 catégories, et non sur la classification de documents en général.
Détails
- Auteurs de l’article original
- Stefan Larson, Kevin Leach
- Soumis à arXiv
- Licence
- CC BY 4.0