Le immagini notturne sintetiche cambiano la classifica dei modelli sul set di test

Se un set di test non include una condizione che influisce sulle prestazioni, aggiungere immagini che la rappresentano potrebbe cambiare quale modello viene giudicato migliore?

La difficoltà è che chi valuta potrebbe non sapere quali condizioni mancano o quali siano rilevanti, soprattutto senza poter esaminare i dati di addestramento.

Gli autori realizzano una pipeline in tre fasi che individua condizioni importanti mancanti, genera immagini che le rappresentano e le controlla prima di aggiungerle ai set di test.

La pipeline assegna etichette diurne o notturne confrontando le immagini con descrizioni testuali, poi controlla se le etichette formano gruppi distinti nelle rappresentazioni visive di un modello. Trasforma immagini già coperte in immagini notturne e ne verifica somiglianza e copertura del dataset prima di aggiungerle.

Chi valuta i modelli ha confrontato due modelli su set originali, ampliati con immagini sintetiche e contenenti immagini notturne reali.

In entrambi i dataset, i test originali favorivano il modello addestrato solo su immagini diurne; i test ampliati e quelli con immagini notturne reali favorivano il modello addestrato su immagini diurne e notturne.

Poiché i set ampliati concordavano con il riferimento delle immagini notturne reali, in questi compiti di classificazione e rilevamento hanno cambiato la selezione del modello nella stessa direzione.

Le evidenze provengono da due test giorno/notte con distribuzioni volutamente sbilanciate. Nei test aggiuntivi degli autori sulle condizioni meteorologiche di BDD100k, il filtro d’importanza ha identificato le condizioni con minore accuratezza quando erano più sottili.

Le misure globali degli embedding possono inoltre non cogliere i dettagli spaziali fini necessari per rilevare oggetti: questi risultati non garantiscono quindi che le immagini sintetiche riproducano le prestazioni ottenute con immagini reali in altri compiti.