Les règles de détection des chevauchements mathématiques peuvent supprimer de nombreux problèmes distincts
En termes simples
Les collections de problèmes utilisées pour entraîner des modèles sont comparées aux questions de test afin d’en retirer les contenus copiés. Mais deux problèmes peuvent se ressembler parce qu’ils suivent la même structure, alors que des nombres ou des conditions différents en font de vrais problèmes distincts.
Cet article a comparé huit règles de suppression des correspondances possibles. Dans les exemples examinés, une règle fondée sur une similarité large a souvent supprimé des problèmes distincts ; une règle existante qui évalue chaque correspondance séparément a obtenu un meilleur équilibre sur les exemples mis à l’écart. L’étude n’a pas testé l’effet du nettoyage sur l’entraînement des modèles.
La recherche
Lorsqu’on compare les données d’entraînement en mathématiques aux questions de test, des problèmes similaires peuvent suivre la même structure sans partager la même réponse ni être des copies.
On ne sait pas encore si les règles générales de comparaison repèrent l’exposition aux tests au prix de la suppression d’exercices légitimes, ni quelle quantité de données d’entraînement ce choix coûte.
L’article compare huit règles de suppression existantes et constate que l’évaluation au cas par cas équilibre mieux fiabilité et couverture sur les paires candidates mises à l’écart.
Pour retirer des données d’entraînement mathématiques les éléments exposés aux tests, comment éviter d’effacer des problèmes distincts qui partagent simplement une structure familière ? Cet article compare huit règles de suppression existantes à des paires entre entraînement et tests examinées indépendamment.
Un examen séparé des éléments vérifie si les éléments signalés pouvaient réellement être supprimés sans risque.
Aucun seuil de similarité testé n’a atteint l’objectif de fiabilité préenregistré sur les paires de calibrage. Sur les paires mises à l’écart, une règle existante fondée sur l’évaluation au cas par cas a obtenu des scores élevés sur les deux mesures : la précision sur les cas tranchés est la part des paires signalées confirmées comme correspondances, hors paires incertaines ; le rappel dans le cadre des paires candidates est la part des correspondances confirmées repérées parmi les paires remontées par le processus.
Ces résultats étayent l’interprétation des auteurs selon laquelle l’examen des correspondances une par une peut mieux équilibrer les deux mesures qu’un seuil unique de similarité dans ce processus.
Ces résultats concernent les paires candidates examinées dans les corpus mathématiques anglophones audités et des instantanés précis des tests.
Le petit échantillon d’éléments ne permet pas d’établir le taux de suppressions erronées à l’échelle des populations, et l’étude n’a mesuré ni le rappel sur l’ensemble des corpus ni les effets sur l’entraînement ultérieur.
Analyse
Détails
- Auteurs de l’article original
- Esther Xin
- Soumis à arXiv
- Licence
- arXiv non-exclusive