Un test révèle quand les modèles de langage écartent des témoignages

Lorsqu’un modèle décide quelle importance accorder au témoignage d’une personne, une mesure de protection contre les biais pourrait-elle l’amener à écarter ses informations ?

Un audit qui ne porte que sur les témoignages évalués par le modèle risque de manquer ce coût. Les auteurs examinent donc si la description de la personne change les témoignages que le modèle écarte.

Les auteurs utilisent un jeu avec deux urnes pour mesurer à la fois si les modèles écartent des témoignages et le degré de confiance accordé à ceux qu’ils évaluent.

Les auteurs utilisent un jeu avec deux urnes et une réponse connue pour déterminer si la description de la personne qui témoigne influe sur la fréquence à laquelle un modèle écarte des informations. Ils font varier la description tout en gardant les éléments et le témoignage identiques, puis consignent séparément les refus et la fiabilité attribuée aux témoignages évalués.

Dans la configuration Luna high, les refus étaient plus fréquents pour les personnes décrites comme noires, même si les témoignages évalués recevaient des notes de fiabilité légèrement supérieures.

Comme cette confiance conditionnelle compense en partie les refus dans la moyenne de toutes les sessions, la comparaison montre pourquoi mesurer les deux décisions permet de repérer une perte d’information que les moyennes de confiance peuvent masquer.

Ces résultats proviennent d’un jeu contrôlé avec des urnes, et non d’observations de décisions prises dans le monde réel.

Le résultat distinct obtenu lors du jeu répété porte sur cinq configurations et ne permet pas d’établir comment fonctionne la responsabilisation fondée sur des preuves lorsque celles-ci sont indisponibles, ne sont fournies qu’une fois ou sont biaisées par leur collecte ou leur origine.