ES
Un localizador guiado por texto puede dirigir la atención según estereotipos
When Pointing Becomes Profiling: Social Bias and Refusal in Text-Steerable Visual Encoders · arXiv:2610.35017
En palabras sencillas
El artículo estudia localizadores de imágenes guiados por texto, que señalan a las personas u objetos nombrados en una indicación. Pregunta si las indicaciones pueden orientar al modelo según la raza o el género percibidos cuando la imagen no da motivos para elegir, y si el modelo puede rechazar solicitudes que la imagen no permite responder.
En las pruebas, el localizador SteerViT publicado mostró a veces ese comportamiento. El método SafeSteer añadió la opción de abstenerse y redujo la selección de personas negras asociada a indicaciones sobre delitos en escenas sintéticas con cuatro personas, aunque persistió cierto enrutamiento en fotografías reales con mucho desorden visual.
La investigación
Si un modelo usa una indicación para señalar a una persona, una consulta sobre criminalidad u otro rasgo no visible puede obligarlo a elegir algo que la imagen no permite justificar.
¿Puede el mismo sistema seguir localizando personas y funciones visibles y, a la vez, abstenerse cuando la indicación le pide inferir algo que la escena no muestra?
Los autores auditan el enrutamiento demográfico en la localización guiada por texto y entrenan SafeSteer para abstenerse ante indicaciones imposibles de responder y repartir la atención por igual cuando ninguna persona destaca visualmente.
Los autores compararon a quién señalaba SteerViT, en su versión publicada, en mosaicos sintéticos de cuatro personas con diseños rotados.
La proporción de mosaicos en que eligió a una persona negra fue 9.2 puntos porcentuales mayor con indicaciones sobre delitos que con indicaciones sobre ocupaciones.
SafeSteer entrena el modelo para abstenerse y repartir el señalamiento por igual cuando la escena no distingue entre candidatos.
Redujo esa diferencia a 1.4 puntos porcentuales y casi siempre ordenó las indicaciones que debían rechazarse por encima de las que debían responderse, lo que respalda ambos objetivos en estas pruebas.
Las reducciones del enrutamiento se midieron en mosaicos sintéticos, y el artículo no especifica si SafeSteer y la versión publicada de SteerViT comparten la misma inicialización del adaptador.
En escenas PHASE con mucho desorden visual siguió habiendo cierto enrutamiento de «delito» hacia personas negras, y el sistema no rechazó las indicaciones sobre nacionalidad y migración no vistas durante el entrenamiento que se pusieron a prueba.
Qué muestran las pruebas
- Un protocolo para medir a quién señala el modelo
El protocolo de auditoría contrafactual del artículo es un procedimiento para comprobar a quién señala un modelo cuando el texto nombra a una persona o un rasgo que la imagen quizá no permita identificar. Mide qué proporción del peso del mapa de calor corresponde a cada persona en mosaicos sintéticos y fotografías reales con varias personas; además, prueba por separado qué indicaciones deben responderse y cuáles rechazarse.
Las etiquetas de raza y género describen categorías percibidas o asignadas por el conjunto de datos, no la identidad declarada por las personas.
- Las indicaciones cambiaron a quién se seleccionaba
SocialCounterfactuals es un conjunto sintético que sirve para crear mosaicos de cuatro personas y comparar las selecciones entre indicaciones. En esos mosaicos, el localizador de imágenes guiado por texto SteerViT publicado seleccionó a una persona negra con indicaciones sobre delitos en una proporción 9.2 puntos porcentuales mayor que con indicaciones sobre ocupaciones.
En mosaicos distintos con cuatro mujeres, «el hombre» seleccionó a la mujer negra en el 75.6% de los conjuntos, frente al 25% que correspondería a una selección igualitaria.
- Los controles sitúan el efecto en la indicación
Para comprobar si las asociaciones lingüísticas por sí solas explicaban el resultado sobre delitos, los autores compararon las representaciones de texto congeladas de palabras sobre delitos y ocupaciones con referencias a personas negras.
La diferencia estandarizada fue d = −0.04, prácticamente sin asociación adicional para las palabras sobre delitos. Después, mantuvieron fija la imagen y los pesos del modelo, y cambiaron el texto que recibían los bloques de atención, que transmiten información de la indicación a las características de la imagen.
Dar la consulta a los bloques 9 y 11 reprodujo casi todo el enrutamiento medido; sustituirla allí por «la persona» eliminó la mayor parte. En esta configuración, los resultados sitúan el efecto en el procesamiento de las indicaciones por esas capas que las dirigen.
- El modelo publicado no podía abstenerse
La prueba independiente de rechazo preguntó si una puntuación podía distinguir entre ejemplos de indicación y mosaico que debían responderse y los que debían rechazarse. Su AUROC mide con qué frecuencia un ejemplo elegido al azar que debería rechazarse obtiene una puntuación mayor que uno que debería responderse.
La puntuación de uniformidad del mapa de calor de SteerViT publicado —uno menos la mayor proporción asignada a cualquier persona— fue de 0.517, cerca del azar. Como su mapa de calor tiene que asignar peso a partes de la imagen, el modelo publicado no tiene una forma explícita de abstenerse.
- SafeSteer aborda ambos problemas
SafeSteer es el método de entrenamiento del artículo que añade una salida explícita de abstención a la localización guiada por texto. Entrena el modelo para repartir la atención por igual cuando la imagen no da motivos para preferir a alguien, abstenerse ante objetos ausentes o atributos no visuales y conservar las consultas de referencia aprendiendo del mapa de calor del modelo publicado.
Con tres semillas de entrenamiento, su puntuación de rechazo alcanzó un AUROC de 0.997 ± 0.001; en mosaicos sintéticos, la diferencia entre indicaciones sobre delitos y ocupaciones en la selección de personas negras bajó de 9.2 a 1.4 puntos porcentuales.
- La transferencia tiene límites claros
Una ablación que solo incorporaba el rechazo funcionó bien en esa tarea, pero dejó el enrutamiento medido cerca de los niveles del modelo publicado. Como el artículo no establece que la ablación compartiera la misma inicialización del adaptador ni todas las demás condiciones de entrenamiento, no constituye una prueba completa que aísle un solo factor.
En fotografías reales PHASE, SafeSteer distinguió las indicaciones sobre identidades no visibles de las indicaciones sobre personas visibles con un AUROC de 0.935. Con un umbral de 0.5, rechazó el 49% de los pares de fotografía e indicación sobre identidades y el 1.2% de los pares que podían fundamentarse en la imagen; aun así, no rechazó algunos términos no vistos sobre nacionalidad y migración.
Detalles
- Autores del paper original
- Seyedarmin Azizi, Parsa Razmara, Sajjad Ghiasvand, Ardalan Aryashad, Tina Khezresmaeilzadeh
- Enviado a arXiv
- Licencia
- CC BY 4.0