Un filtro comprueba si las actualizaciones de modelos mejoran

Cuando los investigadores usan los mismos datos de validación para elegir una actualización del modelo y evaluar su mejora, el resultado comunicado puede ser demasiado optimista.

¿Cómo pueden decidir si aceptan una actualización usando las etiquetas que ya tienen, sin tratar esa misma evidencia de selección como una comprobación independiente?

BRIDGE separa la selección de candidatos de su evaluación y acepta una actualización solo cuando la mejora estimada supera un mínimo fijo.

Los autores comparan BRIDGE con una regla sencilla que acepta cualquier candidato con una mejora positiva en validación. Ante las mismas decisiones y referencias bloqueadas, BRIDGE tuvo menos actualizaciones aceptadas que no lograron mejorar frente a la referencia: el 1,1 % frente al 19,1 % en 1.100 decisiones sobre 11 conjuntos de datos nuevos.

Un experimento aparte con tareas sintéticas independientes respalda un límite de muestra finita para esa población especificada. Una evaluación clínica retrospectiva también encontró menos falsas mejoras con BRIDGE, aunque sus resultados no demuestran beneficios prospectivos.

Estos resultados respaldan BRIDGE para actualizaciones de modelos tabulares en las condiciones evaluadas.

Las estimaciones de riesgo con datos reales se aplican a las colecciones observadas y a referencias bloqueadas de tamaño finito; el límite formal para la población se aplica solo a la población sintética especificada, y los resultados clínicos son retrospectivos.