FR
Un localisateur guidé par le texte peut orienter l’attention selon des stéréotypes
When Pointing Becomes Profiling: Social Bias and Refusal in Text-Steerable Visual Encoders · arXiv:2610.35017
En termes simples
L’article étudie les localisateurs d’images guidés par le texte, qui pointent vers les personnes ou les objets désignés dans une invite. Il demande si les invites peuvent orienter le modèle selon la race ou le genre perçus lorsque l’image ne donne aucune raison de choisir, et si le modèle peut refuser les demandes auxquelles l’image ne permet pas de répondre.
Les auteurs ont constaté que le localisateur SteerViT publié se comportait parfois ainsi dans leurs tests. Leur méthode SafeSteer ajoute un choix d’abstention et réduit, dans des scènes synthétiques de quatre personnes, la sélection de personnes noires associée aux invites sur le crime, même si une partie de ce routage subsistait dans des photos réelles encombrées.
La recherche
Lorsqu’un modèle utilise une invite pour pointer vers une personne, une demande portant sur la criminalité ou une autre caractéristique invisible peut le forcer à choisir alors que l’image ne justifie pas ce choix.
Le même système peut-il tout de même localiser les personnes et les rôles visibles, tout en s’abstenant quand l’invite lui demande d’inférer quelque chose que la scène ne montre pas ?
Les auteurs auditent le routage démographique dans la localisation guidée par le texte, puis entraînent SafeSteer à s’abstenir face aux invites sans réponse et à répartir l’attention équitablement lorsqu’aucune personne n’est visuellement privilégiée.
Les auteurs ont comparé la personne vers laquelle pointait SteerViT publié dans des mosaïques synthétiques de quatre personnes, en faisant la moyenne des dispositions tournées.
Avec les invites sur le crime plutôt que sur les professions, le modèle a choisi une personne noire dans une part des mosaïques supérieure de 9,2 points de pourcentage.
SafeSteer entraîne le modèle à s’abstenir et à répartir le pointage équitablement lorsque la scène ne permet pas de distinguer les candidats. La méthode a ramené l’écart à 1,4 point de pourcentage et a presque toujours attribué un rang supérieur aux invites à refuser qu’à celles auxquelles il fallait répondre, ce qui étaye ces deux objectifs dans les tests effectués.
Les réductions du routage sont rapportées sur des mosaïques synthétiques, et l’article ne précise pas si SafeSteer et la version publiée de SteerViT partagent la même initialisation de l’adaptateur.
Dans les scènes PHASE entièrement encombrées, une partie du routage associant crime et personnes noires subsistait, et les invites testées portant sur des termes jamais vus liés à la nationalité et à la migration n’ont pas été refusées.
Ce que montrent les preuves
- Un protocole pour mesurer le routage visuel
Le protocole d’audit contrefactuel de l’article teste vers qui pointe un modèle lorsque le texte désigne une personne ou une caractéristique que l’image ne permet pas forcément d’établir. Il mesure la masse de la carte thermique attribuée aux personnes dans des mosaïques synthétiques et de vraies photos de plusieurs personnes, puis teste séparément les invites auxquelles il faut répondre ou qu’il faut refuser.
Les catégories de race et de genre décrivent des perceptions ou des étiquettes attribuées par le jeu de données, et non la manière dont les personnes représentées se définissent.
- Les invites ont changé la personne choisie
SocialCounterfactuals est un ensemble synthétique utilisé pour créer des mosaïques de quatre personnes et comparer les choix selon les invites.
Dans ces mosaïques, le localisateur d’images guidé par le texte SteerViT publié a sélectionné une personne noire 9,2 points de pourcentage plus souvent avec les invites sur le crime qu’avec celles sur les professions. Dans des mosaïques distinctes de quatre femmes, « l’homme » a désigné la femme noire dans 75,6 % des ensembles, contre 25 % si chaque personne avait eu une probabilité égale d’être sélectionnée.
- Les contrôles situent l’effet de l’invite
Pour vérifier si les associations linguistiques suffisaient à expliquer le résultat lié au crime, les auteurs ont comparé les représentations textuelles figées des mots liés au crime et des mots désignant des professions à des références aux personnes noires.
La différence standardisée était de d = −0,04, soit pratiquement aucune association supplémentaire pour les mots liés au crime. Ils ont ensuite gardé l’image et les poids du modèle constants tout en changeant le texte transmis aux blocs d’attention, qui font passer les informations de l’invite aux caractéristiques de l’image.
Donner la requête aux blocs 9 et 11 a reproduit presque tout le routage mesuré ; leur donner à la place « la personne » en a supprimé la majeure partie. Dans cette configuration, cela situe l’effet dans le traitement de l’invite par ces couches de guidage.
- Le modèle publié ne pouvait pas s’abstenir
Le test distinct de refus évaluait si un score pouvait distinguer les exemples invite-mosaïque auxquels il fallait répondre de ceux qu’il fallait refuser. L’AUROC mesure la fréquence à laquelle un exemple invite-mosaïque à refuser reçoit un score supérieur à celui d’un exemple auquel il faut répondre, lorsqu’on en choisit un de chaque catégorie au hasard.
Le score d’uniformité de la carte thermique de SteerViT publié — un moins la plus grande part attribuée à une personne — était de 0,517, proche du hasard. Comme sa carte thermique doit attribuer une masse aux zones de l’image, le modèle publié n’a pas de moyen explicite de s’abstenir.
- SafeSteer répond aux deux problèmes
SafeSteer est la méthode d’entraînement de l’article qui ajoute une sortie d’abstention explicite à la localisation guidée par le texte. Elle entraîne le modèle à répartir l’attention équitablement lorsqu’aucune personne n’est visuellement privilégiée, à s’abstenir pour les objets absents ou les caractéristiques invisibles, et à préserver les requêtes de référence en apprenant à partir de la carte thermique du modèle publié.
Sur trois graines d’entraînement, son score de refus a atteint une AUROC de 0,997 ± 0,001 ; sur les mosaïques synthétiques, l’écart entre les invites sur le crime et celles sur les professions dans la sélection de personnes noires est passé de 9,2 à 1,4 point de pourcentage.
- Le transfert a des limites précises
Une variante d’ablation entraînée uniquement au refus a obtenu de bons résultats sur le refus, mais a laissé le routage mesuré proche des niveaux du modèle publié. L’article n’établit pas que cette variante partageait la même initialisation de l’adaptateur ou toutes les autres conditions d’entraînement ; il ne s’agit donc pas d’un test complet isolant un seul facteur.
Sur les photos PHASE réelles, SafeSteer a distingué les invites sur une identité invisible de celles portant sur des personnes visibles avec une AUROC de 0,935. Avec un seuil de 0,5, il a refusé 49 % des paires photo-invite sur l’identité et 1,2 % des paires pouvant être ancrées dans l’image ; certains termes testés, jamais vus et liés à la nationalité et à la migration n’ont toujours pas été refusés.
Détails
- Auteurs de l’article original
- Seyedarmin Azizi, Parsa Razmara, Sajjad Ghiasvand, Ardalan Aryashad, Tina Khezresmaeilzadeh
- Soumis à arXiv
- Licence
- CC BY 4.0