Un filtre vérifie si les mises à jour améliorent vraiment les modèles
En termes simples
Une mise à jour de modèle peut sembler meilleure parce que les chercheurs ont utilisé les mêmes exemples étiquetés pour la choisir et l’évaluer. Cet article présente BRIDGE, un filtre qui décide s’il faut accepter une mise à jour choisie ou conserver le modèle actuel.
BRIDGE évalue les candidats sur des sous-ensembles de données qui n’ont pas servi à les sélectionner, puis ne les accepte que si les éléments recueillis dépassent un gain minimal. Sur 11 nouveaux jeux de données, moins de mises à jour acceptées n’ont pas réussi à améliorer le score sur une référence séparée qu’avec une règle qui acceptait tout score de validation positif. Ce résultat est limité à ce protocole de test.
La recherche
Lorsque les chercheurs utilisent les mêmes données de validation pour choisir une mise à jour de modèle et en évaluer le gain, l’amélioration rapportée peut être trop optimiste.
Comment décider d’accepter une mise à jour à partir des étiquettes déjà disponibles, sans traiter les mêmes éléments ayant servi à la sélection comme une vérification indépendante ?
BRIDGE sépare la sélection des candidats de leur évaluation, puis n’accepte une mise à jour que si son gain estimé dépasse un seuil fixe.
Les auteurs comparent BRIDGE à une règle simple qui accepte tout candidat affichant un gain de validation positif.
Pour les mêmes décisions et références verrouillées, BRIDGE a compté moins de mises à jour acceptées qui n’amélioraient pas le score sur la référence : 1,1 % contre 19,1 %, sur 1 100 décisions réparties entre 11 nouveaux jeux de données.
Une expérience distincte sur des tâches synthétiques indépendantes étaye une borne en échantillon fini pour cette population définie. Une évaluation clinique rétrospective a également relevé moins de fausses améliorations avec BRIDGE, mais elle n’établit pas de bénéfice prospectif.
Ces résultats étayent l’utilisation de BRIDGE pour mettre à jour des modèles tabulaires dans les conditions testées.
Les estimations du risque sur des données réelles portent sur les collections observées et des références verrouillées de taille limitée ; la borne théorique pour une population ne s’applique qu’à la population de tâches synthétiques définie, et les résultats cliniques sont rétrospectifs.
Analyse
Détails
- Auteurs de l’article original
- Dwi Sunaryono
- Soumis à arXiv
- Licence
- arXiv non-exclusive