In parole semplici
Un compito può richiedere che vadano bene due cose, mentre un verificatore assegna un punteggio a una sola. Lo studio esamina cosa succede quando quel verificatore viene valutato in base all'esito dell'intero compito, soprattutto dopo che una policy cambia il tipo di insuccessi che produce.
Gli autori mostrano che il punteggio dell'intero compito può essere fuorviante. In un test con pipeline ECG, aggiornare un verificatore usando le etichette dell'esito completo ne ha indebolito la capacità di individuare gli insuccessi della componente che doveva controllare; mantenere nel refresh esempi di quegli insuccessi ha preservato le prestazioni nelle configurazioni testate.
La ricerca
Se un verificatore viene valutato in base al successo dell'intero compito, il suo punteggio ci dice ancora se individua il particolare insuccesso che è stato progettato per rilevare?
La domanda conta quando una policy cambia la composizione degli insuccessi tra i candidati usati per valutare o aggiornare quel verificatore.
Lo studio ricava come gli audit dell'intero compito possano valutare male un verificatore di componente, poi misura i danni del refresh e testa una correzione che preserva gli esempi disponibili.
Gli autori analizzano un verificatore pensato per controllare una condizione, ma valutato rispetto all'intero compito. La loro scomposizione mostra perché il punteggio possa spostarsi verso gli insuccessi di un'altra condizione quando cambiano gli output della policy.
Il punteggio dell'oracolo esatto sui motori rispetto all'intero compito è calato tra i gruppi di policy, pur mantenendo giudizi esatti sulla componente.
Nei test ECG, il refresh con etichette dell'esito completo ha indebolito il controllo della componente fuori distribuzione e la selezione successiva; conservare gli insuccessi della policy di base ha preservato le prestazioni in quelle configurazioni.
I risultati sul refresh operativo provengono da test eseguiti solo su CPU su un singolo compito di elaborazione di segnali ECG, con due tipi di verificatore e dieci suddivisioni sovrapposte dei soggetti per ogni configurazione.
Lo studio non ha testato il refresh di un verificatore basato su un modello linguistico di grandi dimensioni né l'esecuzione di reinforcement learning online con un verificatore aggiornato; i risultati ECG non costituiscono una validazione clinica.
Analisi
Dettagli
- Autori del paper originale
- Daniel Cieślak, Jacek Łubiński
- Inviato ad arXiv
- Licenza
- CC BY 4.0