De légères modifications d’image peuvent orienter l’entraînement par préférences

Peut-on détourner un entraînement par préférences au moyen d’exemples qui semblent correctement étiquetés à une personne chargée de les examiner ?

L’article étudie si un attaquant peut modifier les réponses apprises par un modèle vision-langage en ne changeant que les images d’entraînement fournies, tout en laissant intactes les consignes, les réponses et les annotations de préférence.

DPOison-VL ne modifie que les images d’entraînement fournies et s’appuie sur les gradients pour créer et classer des exemples qui orientent l’alignement par préférences des modèles vision-langage.

Les chercheurs ont évalué si cette attaque pouvait modifier les réponses d’un modèle sur des images absentes du processus de création de l’attaque.

Ils ont entraîné quatre VLM sur trois tâches d’identification erronée, puis demandé à un évaluateur fondé sur un modèle de langage d’examiner les réponses générées sur des images cibles mises de côté pour le test.

Pour Qwen3-VL-2B, dans une tâche sur les feux de circulation, la couleur erronée demandée est apparue sur 98,0 % des images cibles mises de côté pour le test avec 2 % de données de préférence empoisonnées, en moyenne sur trois exécutions.

Ce résultat montre que les seules modifications d’image peuvent orienter les réponses dans une configuration testée, alors que les étiquettes de préférence fournies restent correctes.

Les expériences portent sur quatre modèles vision-langage, trois tâches d’identification erronée et un entraînement DPO standard.

Le résultat théorique dépend d’hypothèses de régularité et de descente de gradient ; ni les expériences ni le théorème n’établissent que le même effet se produirait avec d’autres méthodes ou dans d’autres conditions d’entraînement.