Comment des exemples nuisibles peuvent contourner les sélecteurs

Lorsqu’un responsable de modèle ne retient qu’un nombre fixe d’exemples d’entraînement, un fournisseur peut-il faire passer des exemples nuisibles pour des exemples utiles et ainsi influer sur le modèle entraîné ? Le fournisseur ne peut ni modifier le sélecteur ni voir l’ensemble finalement retenu.

La question est donc de savoir si la modification des exemples eux-mêmes peut changer ceux qui franchissent le filtre.

Les auteurs présentent une attaque adaptative qui façonne des exemples d’entraînement nuisibles pour franchir la sélection, ainsi qu’une défense en deux volets qui audite les fournisseurs et combine les classements des sélecteurs.

Les auteurs testent si un fournisseur peut faire passer des exemples d’entraînement nuisibles auprès d’un sélecteur qui ne conserve que les mieux notés. Le fournisseur génère des variantes portant la charge utile, les évalue, puis soumet celle qui obtient le meilleur score tout en la conservant.

Dans un test comparatif de refus excessif avec IFD, un sélecteur fondé sur la difficulté, l’adaptation a fait passer la concentration des exemples nuisibles de 1,21x à 6,07x et le taux de refus rapporté de 0 % à 94 %. Cela montre une concentration et un changement de comportement dans ce cas testé ; un témoin utilisant une sélection aléatoire indique également que, dans son évaluation LESS, la concentration dépendait de la sélection.

Les évaluations portent sur certaines paires entre sélecteur et charge utile, ainsi que sur certains réglages de modèles. Le certificat de CONCERT limite les exemples qui peuvent être sélectionnés ; il ne garantit ni un ensemble sans exemples nuisibles ni une limite aux dommages ultérieurs.

Les résultats sur le code ont été vérifiés sur des points de contrôle existants, sans réentraînement à partir d’un corpus réduit.