De petits échantillons pour prédire les scores de recherche d'images à grande échelle
En termes simples
Les tests de recherche d'images vérifient si un système peut placer des photos du même objet ou lieu près d'une image de requête, avant des images sans rapport. De très grands ensembles d'images non pertinentes rendent le test plus discriminant, mais les encoder pour chaque modèle représente un travail considérable.
La méthode présentée dans l'article échantillonne quelques images non pertinentes, estime à quelle fréquence elles devanceraient les bonnes correspondances, et prédit le score pour une galerie bien plus grande. Sur ILIAS, un échantillon de 5 % des 100 millions de distracteurs a prédit le score de classement des correspondances dans les 1 000 premiers résultats à 0,005 point près en moyenne sur cinq architectures testées.
La recherche
Lorsque les tests de recherche d'images utilisent d'immenses réservoirs d'images non pertinentes, chaque variante de modèle doit encoder ce réservoir pour mesurer la qualité de son classement des images pertinentes.
Un petit échantillon aléatoire pourrait-il fournir une prédiction crédible du score sur la galerie complète, tout en conservant l'exigence d'une grande taille de galerie ?
La méthode estime à quelle fréquence des images non pertinentes devancent les images pertinentes, puis utilise ces probabilités pour prédire les scores de recherche d'une galerie bien plus grande.
Sur ILIAS, un test de recherche d'instances identiques parmi des distracteurs, les auteurs comparent la précision moyenne prédite dans les 1 000 premiers résultats par requête avec le score calculé sur la totalité des 100 millions d'images.
À partir de 5 millions de distracteurs tirés aléatoirement, les prédictions s'écartent en moyenne de 0,005 point de mAP sur cinq architectures, avec une erreur maximale de 0,008.
À coût d'échantillonnage identique, l'évaluation directe sur le sous-ensemble présente une erreur absolue moyenne de 0,113 point.
L'estimation tenant compte des événements rares retrouve mieux le score de classement de la galerie complète en prenant en compte les distracteurs susceptibles de devancer des images pertinentes même lorsque l'échantillon ne les révèle pas.
L'estimation suppose que l'échantillon est tiré uniformément au hasard dans le réservoir de distracteurs, et l'extrapolation de la queue de distribution peut être erronée si la loi ajustée ne convient pas.
La vérification par fragments peut révéler des différences au sein de l'échantillon, mais ne prouve pas que celui-ci représente les images omises.
Analyse
Détails
- Auteurs de l’article original
- Boaz Meivar, Shai Avidan
- Soumis à arXiv
- Licence
- arXiv non-exclusive