Las puntuaciones de RVL-CDIP reflejan algo más que reconocer documentos
Data Quality in RVL-CDIP: A Systematic Audit · arXiv:2610.32126
En palabras sencillas
Un conjunto de prueba para clasificar documentos debería indicar si un modelo puede reconocer distintos tipos de documento. Larson y Leach auditaron RVL-CDIP, una colección muy utilizada de documentos escaneados, porque sus puntuaciones altas también podían reflejar defectos de la colección. Encontraron páginas mal etiquetadas, páginas repetidas entre entrenamiento y prueba, y pistas —como códigos identificativos impresos— que permitían predecir la categoría de una página.
Tras corregir varios problemas a la vez, 13 modelos reentrenados obtuvieron puntuaciones generales algo más altas. La auditoría muestra que las puntuaciones de RVL-CDIP reflejan tanto la capacidad de clasificación como características de esa colección concreta; no determina el rendimiento en todos los documentos.
La investigación
Cuando las puntuaciones en una prueba de clasificación de documentos son muy altas, ¿significa que los modelos pueden reconocer tipos de documento o que han aprendido peculiaridades de esa colección concreta?
RVL-CDIP procedía de un archivo de descubrimiento de pruebas judiciales y no tenía criterios de categoría publicados, por lo que distinguir ambas posibilidades es importante para interpretar la precisión publicada.
Larson y Leach auditan las etiquetas, los solapamientos, los atajos, la cobertura y el protocolo de lectura de texto de RVL-CDIP para mostrar cómo sus defectos afectan las puntuaciones de clasificación.
Larson y Leach preguntan si la alta precisión en RVL-CDIP refleja la clasificación de documentos o el ajuste de un modelo a las propiedades del propio benchmark.
Su auditoría sistemática examina las etiquetas, los solapamientos entre páginas de entrenamiento y prueba, los atajos visuales, la cobertura y el protocolo de lectura de texto.
Encuentran errores y atajos que pueden afectar las puntuaciones; después, reentrenan modelos combinando la corrección de etiquetas, la eliminación de códigos identificativos y la exclusión de duplicados detectados. En 13 modelos, la precisión es entre 0.9 y 2.9 puntos mayor que en la condición original.
Esto respalda la interpretación de que las puntuaciones de RVL-CDIP combinan la capacidad de clasificación con el aprendizaje de los defectos del benchmark.
La auditoría abarca RVL-CDIP y los modelos y procedimientos de corrección evaluados.
Los errores de etiquetado se juzgaron según criterios redactados por los autores; la auditoría no midió cuánto contribuyó a los resultados de algunos modelos el preentrenamiento con un archivo fuente que contiene páginas de prueba de RVL-CDIP.
Qué muestran las pruebas
- ¿Qué mide la puntuación?
El artículo de Larson y Leach es una auditoría sistemática de RVL-CDIP, un conjunto de prueba para clasificar tipos de documentos.
La colección se reunió para el descubrimiento de pruebas en procesos judiciales, no para evaluar aprendizaje automático, y su publicación no definía qué debía incluir cada categoría. La auditoría pregunta si las puntuaciones altas reflejan el reconocimiento de tipos de documento o el aprendizaje de propiedades de esta colección concreta.
- Las etiquetas no siempre eran fiables
Los autores redactaron criterios por categoría y un equipo revisó manualmente los 400,000 documentos según esos criterios. Encontraron que el 10.51% tenía una etiqueta desconocida, incorrecta o mixta; al contar los casos inciertos como errores, la tasa subió al 11.48%.
Como otro equipo podría trazar algunos límites entre categorías de otra manera, estas tasas describen los errores según los criterios publicados por los autores.
- Varios atajos afectan la precisión
Otras comprobaciones identificaron distintas fuentes de distorsión en las puntuaciones. Una búsqueda refinada encontró un duplicado o una página de entrenamiento con una plantilla compartida para el 35.19% de las páginas de prueba; es un límite inferior.
Un clasificador que usó solo características de códigos identificativos de litigios alcanzó un 69.2% de precisión en 16 categorías. Por separado, cambiar el software de lectura de texto, manteniendo constantes la arquitectura del modelo y los ajustes de entrenamiento, elevó la precisión entre 4.1 y 8.3 puntos porcentuales en cuatro modelos evaluados.
- Las correcciones conjuntas cambiaron las puntuaciones
Los autores reentrenaron 13 modelos después de corregir las etiquetas, quitar los códigos identificativos y excluir las páginas de prueba con una contraparte detectada en el entrenamiento. Su precisión fue entre 0.9 y 2.9 puntos porcentuales mayor que en la condición original.
Como las correcciones se combinaron y cambiaron las páginas de prueba evaluadas, esta comparación muestra el resultado de aplicar las correcciones en conjunto, no el efecto separado de cada cambio.
- Las puntuaciones no se trasladaron por completo
Los autores también probaron los mismos modelos de imagen con documentos recién recopilados de otras fuentes. Siete modelos de imagen entrenados con las etiquetas originales obtuvieron allí una precisión entre 21.6 y 27.9 puntos porcentuales menor que en la división de prueba del benchmark.
La brecha persistió para los modelos de imagen entrenados con etiquetas corregidas, mientras que casi desapareció en varios modelos de texto y diseño. Esta comparación abarca una colección pequeña de 12 categorías, no la clasificación de documentos en general.
Detalles
- Autores del paper original
- Stefan Larson, Kevin Leach
- Enviado a arXiv
- Licencia
- CC BY 4.0