Piccoli campioni per prevedere i punteggi di retrieval su larga scala
In parole semplici
I test di retrieval di immagini verificano se un sistema riesce a posizionare immagini dello stesso oggetto o luogo vicino a un'immagine di riferimento, davanti a immagini non correlate. Grandi insiemi di immagini non correlate rendono il test più selettivo, ma codificarle per ogni modello richiede un lavoro considerevole.
Il metodo descritto nel paper campiona alcune immagini non correlate, stima con quale frequenza supererebbero in classifica le immagini corrispondenti, e prevede il punteggio per una gallery molto più grande. Su ILIAS, un campione del 5% di 100 milioni di distractors ha previsto il punteggio per i ranking delle corrispondenze nei primi 1.000 posizioni entro 0,005 punti in media su cinque backbone testati.
La ricerca
Quando i test di retrieval utilizzano grandi pool di immagini irrilevanti, ogni variante di modello deve codificare l'intero pool per misurare quanto bene classifica le immagini rilevanti.
Un piccolo campione casuale potrebbe supportare una previsione credibile del punteggio sull'intero pool, mantenendo al tempo stesso la difficoltà di una gallery di grandi dimensioni?
Il metodo stima quanto spesso le immagini irrilevanti superano in classifica quelle rilevanti, poi usa queste probabilità per prevedere i punteggi di retrieval su una gallery molto più grande.
Su ILIAS, un test di retrieval delle stesse istanze tra i distractors, gli autori confrontano la mean average precision prevista nei primi 1.000 risultati per query con il punteggio calcolato su tutti i 100 milioni di immagini.
A partire da 5 milioni di distractors campionati casualmente, le previsioni differiscono in media di 0,005 punti mAP su cinque backbone, con un errore massimo di 0,008.
A parità di costo di campionamento, la valutazione diretta sul sottoinsieme ha un errore assoluto medio di 0,113 punti.
La stima che modella la coda della distribuzione recupera meglio il punteggio di ranking sull'intera gallery, tenendo conto dei distractors che possono superare in classifica le immagini rilevanti anche quando il campione non li mostra.
La stima presuppone che il campione sia estratto in modo uniforme e casuale dal pool di distractors; l'estrapolazione della coda può risultare errata se la distribuzione dei punteggi utilizzata per il fitting non è adatta.
Il controllo per shard può rivelare differenze all'interno del campione, ma non dimostra che esso rappresenti le immagini escluse.
Analisi
Dettagli
- Autori del paper originale
- Boaz Meivar, Shai Avidan
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive