IT
Un localizzatore guidato dal testo può seguire stereotipi
When Pointing Becomes Profiling: Social Bias and Refusal in Text-Steerable Visual Encoders · arXiv:2610.35017
In parole semplici
L’articolo studia i localizzatori di immagini guidati dal testo, cioè modelli che indicano le persone o gli oggetti nominati in un prompt. Si chiede se, quando l’immagine non offre ragioni per scegliere, i prompt possano indirizzare la scelta in base alla razza o al genere percepiti e se il modello possa rifiutarsi di rispondere a richieste a cui l’immagine non può dare risposta.
Nei test, il localizzatore SteerViT rilasciato a volte si comportava così. Il metodo SafeSteer degli autori aggiunge una scelta di astensione e riduce la selezione di persone nere legata ai prompt sul crimine in scene sintetiche con quattro persone, anche se nelle fotografie reali più affollate è rimasto del routing di questo tipo.
La ricerca
Quando un modello usa un prompt per indicare una persona, una richiesta sulla criminalità o su un altro tratto non visibile può costringerlo a una scelta che l’immagine non giustifica.
Lo stesso sistema può continuare a individuare persone e ruoli visibili, astenendosi quando il prompt chiede di dedurre qualcosa che la scena non mostra?
Gli autori verificano il routing demografico nella localizzazione guidata dal testo e addestrano SafeSteer ad astenersi dai prompt senza risposta visiva e a distribuire il puntamento in modo uniforme quando nessuna persona è favorita dalla scena.
Gli autori hanno confrontato quale persona veniva indicata da SteerViT rilasciato in mosaici sintetici con quattro persone, mediando le diverse rotazioni.
La quota di mosaici in cui veniva scelta una persona nera era superiore di 9.2 punti percentuali con prompt sul crimine rispetto a quelli sulle professioni.
SafeSteer addestra il modello ad astenersi e a distribuire il puntamento in modo uniforme quando la scena non distingue tra i candidati.
Ha ridotto quella differenza a 1.4 punti percentuali e quasi sempre ha assegnato un punteggio più alto ai prompt da rifiutare che a quelli a cui si dovrebbe rispondere, sostenendo entrambi gli obiettivi in questi test.
Le riduzioni del routing sono riportate su mosaici sintetici e l’articolo non specifica se SafeSteer e SteerViT rilasciato condividano la stessa inizializzazione dell’adapter.
In alcune scene PHASE completamente affollate è rimasto del routing da prompt sul crimine verso persone nere; inoltre, i prompt testati su nazionalità e migrazione mai visti non sono stati rifiutati.
Cosa mostrano le prove
- Un protocollo per il routing visivo
Il protocollo di audit controfattuale dell’articolo è una procedura per verificare dove punta un modello quando il testo nomina una persona o un tratto che l’immagine potrebbe non mostrare. Misura la quota della heatmap assegnata alle persone in mosaici sintetici e fotografie reali con più persone, poi verifica separatamente quali prompt dovrebbero ricevere una risposta o un rifiuto.
Le etichette di razza e genere indicano categorie percepite o assegnate dal dataset, non l’identità dichiarata dalle persone ritratte.
- I prompt hanno cambiato chi veniva selezionato
SocialCounterfactuals è un insieme sintetico usato per creare mosaici con quattro persone e confrontare le scelte tra prompt diversi. In quei mosaici, il localizzatore di immagini SteerViT rilasciato, guidato dal testo, ha selezionato una persona nera con una frequenza superiore di 9.2 punti percentuali per i prompt sul crimine rispetto a quelli sulle professioni.
In mosaici separati con quattro donne, “l’uomo” ha selezionato la donna nera nel 75.6% degli insiemi, rispetto al 25% che si avrebbe selezionando ogni candidata con uguale probabilità.
- I controlli localizzano l’effetto del prompt
Per verificare se il risultato sui prompt sul crimine dipendesse solo dalle associazioni linguistiche, gli autori hanno confrontato gli embedding testuali congelati di parole relative al crimine e alle professioni con riferimenti a persone nere.
La differenza standardizzata era d = −0.04, cioè le parole sul crimine non mostravano praticamente alcuna associazione aggiuntiva. Gli autori hanno poi mantenuto fissi l’immagine e i pesi del modello, cambiando il testo fornito ai blocchi di attenzione che trasmettono le informazioni del prompt alle caratteristiche visive.
Dare il prompt ai blocchi 9 e 11 ha riprodotto quasi tutto il routing misurato; sostituirlo lì con “la persona” ne ha rimosso la maggior parte. In questa configurazione, l’effetto si trova nell’elaborazione del prompt da parte di quei blocchi di controllo.
- Il modello rilasciato non poteva astenersi
Il test separato sul rifiuto verificava se un punteggio sapesse distinguere gli esempi di prompt e mosaico a cui si dovrebbe rispondere da quelli da rifiutare. L’AUROC misura quanto spesso un esempio scelto a caso tra quelli da rifiutare riceve un punteggio superiore a un esempio a cui si dovrebbe rispondere.
Il punteggio di piattezza della heatmap di SteerViT rilasciato, calcolato come uno meno la quota maggiore data a una qualsiasi persona, era 0.517, vicino al caso. Poiché la sua heatmap deve assegnare peso alle porzioni dell’immagine, il modello rilasciato non ha un modo esplicito per astenersi.
- SafeSteer affronta entrambi i problemi
SafeSteer è il metodo di addestramento dell’articolo che aggiunge un’uscita esplicita di astensione alla localizzazione guidata dal testo. Addestra il modello a distribuire l’attenzione in modo uniforme quando l’immagine non offre ragioni per preferire qualcuno, ad astenersi per oggetti assenti o attributi non visibili e a conservare la capacità di rispondere ai prompt di riferimento imparando dalla heatmap del modello rilasciato.
Con tre semi di addestramento, il suo punteggio di rifiuto ha raggiunto un’AUROC di 0.997 ± 0.001; nei mosaici sintetici, la differenza tra prompt sul crimine e sulle professioni nella selezione di persone nere è scesa da 9.2 a 1.4 punti percentuali.
- Il trasferimento ha confini precisi
Un’ablazione addestrata solo al rifiuto ha ottenuto buoni risultati sul rifiuto, ma ha lasciato il routing misurato vicino ai livelli del modello rilasciato. Poiché l’articolo non stabilisce che l’ablazione condividesse la stessa inizializzazione dell’adapter o tutte le altre condizioni di addestramento, non è un test completo che varia un solo fattore.
Nelle fotografie reali PHASE, SafeSteer ha distinto i prompt su identità non visibili da quelli su persone visibili con un’AUROC di 0.935. Con una soglia di 0.5 ha rifiutato il 49% delle coppie fotografia-prompt sull’identità e l’1.2% delle coppie ancorabili a elementi visibili; alcuni termini testati su nazionalità e migrazione mai visti non sono stati rifiutati.
Dettagli
- Autori del paper originale
- Seyedarmin Azizi, Parsa Razmara, Sajjad Ghiasvand, Ardalan Aryashad, Tina Khezresmaeilzadeh
- Inviato ad arXiv
- Licenza
- CC BY 4.0