Vérifier les cas incertains avant de modifier un jeu de données

Deux images cérébrales peuvent se ressembler sans permettre de savoir si elles appartiennent à une même personne.

Deux problèmes mathématiques peuvent se ressembler sans permettre de savoir si l’un révèle une question de test. Agir sur l’une ou l’autre de ces ressemblances modifie un jeu de données ; les exemples d’entraînement traduits ou générés soulèvent une question de qualité apparentée.

Dans ces études, la vérification intervient au moment où une correspondance proposée ou un brouillon devient une décision de sélection des données.

Les éléments disponibles étayent l’examen des cas ambigus aux conséquences importantes dans les méthodes testées, mais ne permettent pas d’établir le bénéfice attribuable à la vérification elle-même.

Imaginez que vous gérez une collection regroupant des images cérébrales. Deux images, associées à des identifiants de participants différents, se ressemblent.

Réunir leurs dossiers pourrait permettre de reconnaître plusieurs examens d’une même personne, mais une simple ressemblance ne suffit pas à établir son identité. La personne qui sélectionne des données d’entraînement en mathématiques doit prendre une décision comparable : un problème qui ressemble à une question d’évaluation peut en être une copie ou un problème distinct dont les nombres ont changé. Quels éléments suffisent pour modifier le jeu de données ?

Le problème des images cérébrales vient du fait que des identifiants attribués dans des études distinctes peuvent désigner la même personne une fois les études regroupées. Une recherche fondée sur les images peut faire ressortir des dossiers à vérifier, mais le dépôt doit finalement décider lesquels rassembler.

L’enjeu est réel : réunir des dossiers modifie la façon dont le dépôt rend compte de ses participants. L’étude sur l’IRM insère donc une étape de vérification entre une correspondance suggérée et la fusion des identités.

D’autres décisions de sélection ont d’autres conséquences. Une personne chargée de données mathématiques peut supprimer un exemple d’entraînement lorsqu’une recherche de similarité le signale.

Une équipe qui crée des exemples de consignes multilingues peut conserver une réponse traduite ou générée après avoir vérifié sa langue et son adéquation à la consigne. Dans tous ces cas, la question commune est de savoir où intervient le jugement lorsqu’une étape automatisée propose un résultat plausible sans permettre encore de décider s’il faut l’accepter.