Muestras pequeñas predicen puntuaciones en recuperación de imágenes a gran escala
En palabras sencillas
Las pruebas de recuperación de imágenes comprueban si un sistema puede colocar fotos del mismo objeto o lugar cerca de una imagen de consulta, por delante de imágenes no relacionadas. Conjuntos muy grandes de imágenes no relacionadas hacen la prueba más discriminante, pero codificarlas para cada modelo supone un trabajo considerable.
El método del artículo toma una muestra de imágenes no relacionadas, estima con qué frecuencia superarían en puntuación a las coincidencias y predice la puntuación para una galería mucho mayor. En ILIAS, una muestra del 5 % de 100 millones de distractores predijo la puntuación de las clasificaciones de coincidencias en los primeros 1.000 resultados con un error de 0,005 puntos como media entre cinco arquitecturas evaluadas.
La investigación
Cuando las pruebas de recuperación de imágenes emplean grandes pools de imágenes irrelevantes, cada variante de modelo debe codificar todo el pool para medir con qué precisión sitúa las imágenes relevantes en los primeros puestos.
¿Podría una pequeña muestra aleatoria respaldar una predicción fiable de la puntuación del pool completo sin renunciar al exigente tamaño de la galería?
El método estima con qué frecuencia los distractores superan en puntuación a las imágenes relevantes y usa esas probabilidades para predecir la puntuación de recuperación en una galería mucho mayor.
En ILIAS, una prueba que consiste en recuperar instancias idénticas entre distractores, los autores comparan la precisión media acumulada predicha en los primeros 1.000 resultados por consulta con la puntuación calculada sobre los 100 millones de imágenes completas.
A partir de 5 millones de distractores muestreados aleatoriamente, las predicciones difieren en 0,005 puntos de mAP como media entre cinco arquitecturas, con un error máximo de 0,008.
Con el mismo coste de muestreo, la evaluación directa sobre el subconjunto tiene un error absoluto medio de 0,113 puntos.
La estimación con modelado de cola recupera mejor la puntuación de la galería completa al tener en cuenta los distractores que pueden superar a las imágenes relevantes aunque la muestra no los muestre.
La estimación supone que la muestra se extrae de forma uniforme y aleatoria del pool de distractores, y la extrapolación de la cola puede ser incorrecta si la distribución de puntuaciones ajustada no es adecuada.
La comprobación por fragmentos puede revelar diferencias dentro de la muestra, pero no demuestra que esta sea representativa de las imágenes omitidas.
Análisis
Detalles
- Autores del paper original
- Boaz Meivar, Shai Avidan
- Enviado a arXiv
- Licencia
- arXiv non-exclusive