Un test delle immagini tiene conto della prova per controllare i falsi match
Identities, Not Pairs: Distribution-Free False-Accept Control for Embedding-Based Verification · arXiv:2610.35277
In parole semplici
Il paper presenta COVE, un metodo per decidere se due immagini mostrano la stessa identità. Un approccio comune imposta una soglia usando i punteggi tra immagini di calibrazione, ma queste coppie condividono le identità: un’identità insolitamente simile può quindi influenzare molti punteggi.
COVE assegna un rango alla coppia in esame insieme alle coppie di calibrazione e a quelle che collegano le immagini della prova alle immagini di calibrazione. Quando le identità sono campionate in modo comparabile e si usa la stessa regola di scoring simmetrica, nelle valutazioni su immagini con divisioni casuali il tasso di falsi match del metodo è rimasto vicino al limite matematico. La garanzia è una media sui campioni di calibrazione e sulle prove.
La ricerca
Quando il confronto tra immagini deve limitare i falsi match, una procedura standard imposta una soglia contando i punteggi di molte coppie di calibrazione. Poiché le identità ricorrono in più coppie, quei punteggi sono dipendenti.
Resta quindi da capire se un metodo possa controllare i falsi accetti senza assumere che le coppie forniscano prove indipendenti.
COVE assegna un rango a ogni prova insieme alle coppie di calibrazione e a quelle collegate alla prova, ottenendo un limite marginale sui falsi accetti in campioni finiti quando le identità sono scambiabili.
COVE assegna un rango alla coppia di prova tra le coppie di calibrazione e quelle che collegano le sue immagini alle immagini di calibrazione.
Con identità scambiabili e scoring simmetrico, il rango fornisce un limite superiore, valido per campioni finiti, sul tasso marginale di falsi accetti, mediato sui campioni di calibrazione e sulle prove con impostori.
Nelle valutazioni con divisioni casuali delle identità, il tasso effettivo nei 903 confronti tra celle e valori obiettivo aveva una mediana pari a 1.001 volte il limite esatto e non mostrava deviazioni statisticamente significative secondo il test indicato.
Questo supporta il teorema negli ambiti valutati, ma non stabilisce un controllo condizionale per un singolo campione di calibrazione.
La garanzia è una media sui campioni di calibrazione e sulle prove con impostori e richiede che le identità di calibrazione e di test siano campionate in modo comparabile, usando la stessa regola di scoring simmetrica. Nelle divisioni di Stanford Online Products testate che violavano questa condizione, il tasso effettivo di falsi accetti di COVE variava da 0.50 a 2.48 volte il valore obiettivo.
Il risultato non riguarda un singolo campione di calibrazione fissato, persone simili appositamente selezionate, né la verifica di volti o persone.
Cosa mostrano le prove
- Il problema delle identità condivise
Il paper presenta COVE, un metodo per decidere se due immagini mostrano la stessa identità, controllando i falsi match. Una procedura abituale di calibrazione sceglie una soglia dai punteggi tra identità diverse.
Ma le coppie non sono indipendenti, perché ogni identità compare in molte di esse: un’identità insolitamente simile può influenzare molti punteggi insieme.
- Un limite della sola calibrazione
Il paper stabilisce anzitutto un limite per le soglie basate soltanto sulle immagini di calibrazione. In popolazioni di impostori scambiabili che includono un’identità hub, ogni regola di questo tipo che controlla i falsi accetti in tutte quelle popolazioni ha una probabilità limitata di raggiungere il livello di punteggio dell’hub quando il campione di calibrazione ne è privo. È un teorema del caso peggiore, non una misurazione su uno specifico encoder.
- Valutare la prova nel suo contesto
COVE include la sonda e il riferimento nell’insieme di unità a cui assegna un rango. Conta le coppie di calibrazione e quelle che collegano ciascuna immagine della prova alle immagini di calibrazione con un punteggio almeno pari a quello della coppia in esame, include la coppia stessa e confronta la frazione di rango con il valore obiettivo.
Con identità scambiabili e scoring simmetrico, il teorema limita il tasso marginale di falsi accetti al valore obiettivo.
- Il limite corrisponde alle valutazioni
Nelle valutazioni con divisioni casuali delle identità, i ricercatori hanno confrontato il tasso effettivo di falsi accetti con il limite teorico esatto di COVE. Nei 903 confronti tra celle e valori obiettivo, il tasso mediano era 1.001 volte il limite e non sono emerse deviazioni statisticamente significative secondo il test del paper per confronti multipli.
Queste evidenze verificano la garanzia marginale negli ambiti testati, ma non stabiliscono un controllo condizionale per un singolo campione di calibrazione.
- L’indipendenza delle coppie ha dato risultati fuorvianti
I controlli basati sulle coppie mostrano perché la dipendenza conta nella pratica. La regola del quantile empirico superava 1.1 volte il valore obiettivo nel 36% dei casi ammissibili.
Per un’altra regola, che trattava le coppie come indipendenti e dichiarava un controllo condizionale, la quota mediana di campioni di calibrazione che superava il valore obiettivo era 42% con almeno 3,000 identità di calibrazione, contro un valore nominale del 5%.
Dettagli
- Autori del paper originale
- Salim Khazem
- Inviato ad arXiv
- Licenza
- CC BY 4.0