IT
La coerenza alle perturbazioni aggiunge poco al rilevamento degli errori nelle immagini pulite
In parole semplici
Il paper presenta il Decision Consistency Framework (DCF), un modo per controllare se un classificatore di immagini mantiene la stessa previsione quando l’immagine cambia leggermente. Il metodo osserva se cambia l’etichetta e di quanto varia la confidenza del classificatore, poi combina queste informazioni in un punteggio.
Nelle famiglie di modelli testate, quel punteggio ha individuato gli errori sulle immagini pulite peggio della normale confidenza del classificatore. È stato utile in alcuni test con rumore e attacchi, ma quei risultati valgono entro limiti specifici.
La ricerca
Quando un classificatore di immagini dà una risposta, controllare se piccoli cambiamenti all’immagine alterano quella risposta può rivelare errori che la confidenza originale non coglie?
Gli autori confrontano direttamente i controlli di coerenza con l’output pulito, poi verificano con un’analisi matematica quando la stabilità può aggiungere informazioni e in quali casi.
Gli autori presentano il DCF, che valuta la stabilità di etichette e confidenza sotto sei lievi modifiche alle immagini, e verificano quando il punteggio aggiunge informazioni sugli errori oltre alla confidenza sull’immagine pulita.
In 201 valutazioni, il punteggio di coerenza ha ordinato gli errori sui dati puliti peggio della massima probabilità softmax (MSP), che usa la probabilità più alta nell’output originale. L’AUROC misura quanto bene un punteggio separa le previsioni corrette da quelle errate, con 0.5 come livello casuale.
Per le CNN congelate, la coerenza ha ottenuto in media 0.057 punti AUROC in meno dell’MSP in 16 configurazioni su quattro dataset.
Un’analisi a margine fissato ha rilevato che le variazioni nei punteggi di output del classificatore aggiungevano poche informazioni per separare le immagini corrette da quelle errate. Questo sostiene la conclusione che, sui dati puliti, la coerenza spesso ripete informazioni già presenti nell’output originale.
Con quattro corruzioni da rumore, il CS ha superato il margine dei logit in un confronto diretto tra punteggi. Separatamente, i miglioramenti ottenuti aggiungendo le caratteristiche DCF a quelle di confidenza dipendevano da shift correlati etichettati.
La coerenza ha anche distinto immagini pulite e attaccate sotto un attacco non adattivo, ma nelle condizioni testate un attacco adattivo poteva eluderla.
I risultati riguardano i dataset di immagini, i modelli e i sei operatori lievi testati. I miglioramenti ottenuti aggiungendo le caratteristiche DCF a quelle di confidenza sulle immagini con rumore dipendevano da esempi etichettati provenienti da shift correlati; il confronto diretto tra CS e margine su quattro corruzioni da rumore era un’analisi separata. Il risultato sull’attacco adattivo riguarda un solo obiettivo d’attacco testato.
Cosa mostrano le prove
- Cosa può aggiungere la coerenza
Il Decision Consistency Framework (DCF) è un metodo post-hoc per controllare se le previsioni di un classificatore di immagini restano stabili dopo piccoli cambiamenti all’immagine. Applica sei operatori lievi, tra cui rotazione e sfocatura, e registra quanto spesso l’etichetta resta uguale e di quanto cambia la confidenza per la classe in testa.
Gli autori chiedono se queste osservazioni aiutino a individuare previsioni errate oltre a ciò che mostra già l’output originale del classificatore.
- Il confronto sui dati puliti
Per rilevare errori sui dati puliti, gli autori hanno confrontato il punteggio di coerenza del DCF con la massima probabilità softmax (MSP), cioè la probabilità più alta nell’output pulito del classificatore. Hanno misurato l’AUROC, che indica quanto bene un punteggio separa le previsioni corrette da quelle errate: 0.5 corrisponde al caso.
Nelle famiglie di modelli riportate, la coerenza ha ottenuto risultati inferiori all’MSP. Per le CNN congelate, l’AUROC medio era più basso di 0.057 punti in 16 configurazioni su quattro dataset di immagini.
- Verificare se emergono nuove informazioni
Un risultato matematico spiega perché la stabilità possa ripetere informazioni già presenti nell’output originale: se l’etichetta cambia, il margine dei logit originali deve essere al massimo √2 volte l’entità del cambiamento nei punteggi di output del classificatore.
Il margine è già nell’output originale. In un’analisi diagnostica su 84 esecuzioni con CNN e transformer congelati, le variazioni dei punteggi separavano male le immagini corrette da quelle errate a parità di margine: l’AUROC medio era 0.515, vicino al caso.
- Un’eccezione circoscritta con il rumore
La coerenza è stata utile in alcune situazioni in cui la confidenza sull’immagine pulita era fuorviante. Per quattro tipi di corruzione da rumore in CIFAR-10-C, il punteggio di coerenza ha superato il margine dei logit da 0.05 a 0.11 punti AUROC.
Si tratta di un confronto diretto tra i due punteggi. Separatamente, gli autori hanno verificato se aggiungere le caratteristiche DCF a quelle di confidenza migliorasse il rilevamento degli errori tramite un combinatore di caratteristiche addestrato.
Addestrato su dati puliti o su altre famiglie di corruzioni, il suo miglioramento sul rumore è sceso rispettivamente a 0.009 o 0.002 punti AUROC; il secondo valore non era statisticamente significativo.
- Eccezioni e limiti
Contro un attacco projected-gradient non adattivo, il punteggio di coerenza ha distinto le immagini pulite da quelle attaccate meglio dell’MSP al budget testato di 2/255. Un attacco adattivo che penalizzava l’instabilità poteva eludere il rilevatore, anche se in quel caso pochi attacchi cambiavano la previsione.
Separatamente, correggere la differenza tra le proporzioni delle classi nei dati di addestramento e di test di OCTMNIST ha migliorato di circa il 40% il divario tra coerenza e accuratezza, lasciandone una parte senza spiegazione.
Questi risultati delimitano quando la coerenza è utile e cosa può spiegare il divario a livello di modello.
Dettagli
- Autori del paper originale
- Amit Kalitaa, Moirangthem Tiken Singh
- Inviato ad arXiv
- Licenza
- CC BY 4.0