Allineare il confine del test all’affermazione di trasferimento

Un classificatore dei danni può ottenere un buon punteggio quando le immagini di test provengono da calamità familiari, mentre una nuova calamità presenta un test diverso. Un modello che risponde a domande sulle immagini può seguire un indizio della scena che porta alla risposta sbagliata. Per un robot, il risultato da valutare è se la guida visiva aiuta a completare un’attività.

Le prove sono utili quando il cambiamento dichiarato, il confine del test e il risultato misurato corrispondono. Gli studi esaminano questi elementi usando calamità tenute fuori dall’addestramento, selezione di modelli per raccolte con indizi fuorvianti e successo in specifiche attività robotiche.

Immagina di usare immagini satellitari per individuare le aree che contengono edifici danneggiati dopo una calamità. Un punteggio ottenuto dividendo casualmente le immagini sembra pertinente, ma le aree della stessa uragano o dello stesso terremoto possono finire sia nei dati di addestramento sia in quelli di test.

Possono condividere caratteristiche geografiche e del sensore, oltre alla quota tipica di aree danneggiate per quell’evento. La domanda pratica è se un classificatore addestrato su calamità note riesca a classificare le aree di una calamità che non ha mai visto. Per rispondere, il confine va posto intorno all’evento, non tracciato tra le sue immagini.

Lo stesso problema si presenta in altri sistemi visivi, anche se cambia il risultato da misurare. Un modello che risponde a domande sulle immagini e deve stabilire se un oggetto è presente può lasciarsi influenzare dagli oggetti circostanti che di solito compaiono insieme a esso.

Una policy robotica può riconoscere una scena e tuttavia non riuscire a posizionare un oggetto dove richiesto. Un punteggio sulle risposte alle domande non può sostituire quello delle attività robotiche completate, e il punteggio di un robot non descrive le prestazioni su calamità mai viste. Ogni risultato va interpretato alla luce delle condizioni testate e del comportamento conteggiato.

Per valutare un’affermazione di trasferimento, è utile indicare tre elementi: il cambiamento che il sistema dovrà affrontare, il confine che la valutazione pone intorno a quel cambiamento e il risultato misurato oltre il confine.

Nello studio sulle calamità, al test cambia l’evento. Nello studio sulle risposte alle domande, cambia la frequenza con cui gli indizi visivi traggono in inganno.

Lo studio sui robot misura attività di manipolazione completate con una policy e un benchmark specifici. Seguire questi test distinti mostra perché un punteggio alto, da solo, non dice quale tipo di trasferimento sia stato dimostrato.