Un criterio verifica se gli aggiornamenti migliorano davvero

Quando i ricercatori usano gli stessi dati di validazione per scegliere un aggiornamento del modello e valutarne il guadagno, il miglioramento riportato può essere troppo ottimistico.

Come possono decidere se accettarlo usando le etichette che hanno già, senza trattare le stesse prove usate per selezionarlo come una verifica indipendente?

BRIDGE separa la selezione dei candidati dalla loro valutazione e accetta un aggiornamento solo quando il guadagno stimato supera un margine minimo fissato.

Gli autori confrontano BRIDGE con una regola semplice che accetta ogni candidato con un guadagno positivo sui dati di validazione.

Sulle stesse decisioni e sugli stessi riferimenti bloccati, con BRIDGE una quota minore degli aggiornamenti accettati non ha migliorato i risultati sul riferimento: l'1.1% contro il 19.1% su 1,100 decisioni relative a 11 nuovi dataset.

Un esperimento separato su attività sintetiche indipendenti supporta un limite su un campione finito per quella specifica popolazione. Anche una valutazione clinica retrospettiva ha rilevato meno falsi miglioramenti con BRIDGE, ma il risultato non dimostra un beneficio prospettico.

Questi risultati supportano BRIDGE per gli aggiornamenti di modelli tabulari nelle condizioni testate.

Le stime del rischio sui dati reali riguardano le raccolte osservate e riferimenti bloccati di dimensioni finite; il limite formale sulla popolazione vale solo per la specifica popolazione di attività sintetiche, mentre i risultati clinici sono retrospettivi.