FR
Comment les indices d’exactitude influencent le jugement sur les réponses d’un chatbot
When Should I Trust This? Designing and Evaluating Factuality Indicators for LLM-based Chatbots · arXiv:2610.32883
En termes simples
Un chatbot peut avoir l’air sûr de lui tout en donnant une réponse fausse. Cet article étudie la façon dont les personnes comprennent deux indices censés les aider à évaluer les réponses : les indications de confiance et les sources qu’elles peuvent consulter.
Les chercheurs ont interrogé des utilisateurs, sondé des adultes aux États-Unis et comparé différents indices dans des captures d’écran de chatbot. Les indices ont légèrement modifié certaines premières impressions.
Mais après que les participants ont appris si la réponse était juste, les chercheurs n’ont plus détecté de différence de confiance ou d’impression générale selon le type d’indice.
La recherche
Quand une réponse de chatbot semble plausible, qu’est-ce qui aide à décider si on peut lui faire confiance : une indication de confiance, des sources à consulter ou le fait d’apprendre si la réponse est juste ?
L’article étudie comment les personnes comprennent ces indices et s’ils modifient leurs jugements sur les réponses des chatbots.
L’étude combine des entretiens, un sondage et une expérience randomisée sur captures d’écran pour évaluer l’effet des indices de confiance et de sources sur les jugements concernant les réponses d’un chatbot.
Pour juger une réponse de chatbot, les personnes peuvent avoir besoin de comprendre ce que signifie un signal de confiance. Elles peuvent aussi avoir besoin de déterminer si les sources méritent d’être vérifiées.
Les auteurs ont d’abord étudié comment les utilisateurs interprètent ces indices. Ils ont aussi examiné leurs déclarations concernant la vérification des réponses.
Puis, ils ont testé si différents indices modifiaient leurs évaluations. Dans une expérience randomisée, des adultes aux États-Unis ont évalué une seule capture d’écran.
Ils l’ont évaluée avant et après avoir appris si la réponse était juste. Les différences entre indices étaient faibles au départ.
Après la révélation, aucune différence n’était détectée pour la confiance ou l’impression générale. L’exactitude était beaucoup plus fortement associée à ces évaluations ultérieures.
Les résultats suggèrent que les indices peuvent influencer les premières impressions. Ils n’établissent toutefois pas que les indices modifient les comportements.
L’expérience a mesuré les évaluations d’une seule capture d’écran statique de chatbot par personne, et non la vérification des sources, le fait de s’appuyer sur les réponses ou les décisions prises dans la vie réelle.
Toutes les études ont recruté des personnes aux États-Unis qui utilisaient déjà l’IA générative ; les résultats pourraient donc ne pas s’appliquer à d’autres populations ni aux interactions du quotidien.
Ce que montrent les preuves
- Le problème du jugement
Cette étude empirique combine plusieurs méthodes pour examiner comment les personnes évaluent la véracité des réponses d’un chatbot et si les indices de confiance ou de sources les aident à juger une réponse. Le problème est concret lorsqu’on cherche des informations : une réponse fluide peut être inexacte, et le sens d’une indication de confiance peut manquer de clarté.
Les auteurs étudient la compréhension des utilisateurs et leurs pratiques de vérification déclarées avant de tester l’effet des indices de l’interface sur leurs jugements.
- Ce que les utilisateurs comprennent des indices
Lors d’entretiens, huit personnes aux États-Unis ont donné des interprétations différentes de la confiance affichée par une IA : elles se demandaient notamment si elle signifiait qu’une réponse était probablement juste ou qu’elle avait été vérifiée. Elles jugeaient les sources utiles comme éléments de preuve à examiner, tout en s’interrogeant sur leur fiabilité et sur l’effort nécessaire pour les vérifier.
Dans un sondage distinct, 94,7 % de 1 000 adultes aux États-Unis utilisant l’IA ont déclaré vérifier les réponses une partie du temps, mais pas systématiquement. Rechercher des informations et consulter les sources du chatbot étaient des pratiques courantes ; demander une indication de confiance figurait parmi les moins courantes.
- La comparaison des captures d’écran
Les chercheurs ont réparti au hasard 5 151 adultes des États-Unis utilisant l’IA et leur ont montré une capture d’écran de chatbot comportant l’une de six configurations d’indices. Les captures portaient sur le jardinage, les mathématiques ou des questions médicales, et les réponses étaient justes ou erronées.
Les participants ont évalué l’exactitude perçue, la suffisance des informations, la confiance et leur impression avant et après avoir appris si la réponse était juste. Avant cette révélation, certains indices ont obtenu de meilleures évaluations que d’autres, mais les différences étaient faibles.
Après la révélation, les chercheurs n’ont détecté aucune différence de confiance ou d’impression générale selon l’indice.
- Les facteurs associés aux évaluations
Savoir si une réponse était juste était beaucoup plus fortement associé à la confiance et à l’impression générale après la révélation que le type d’indice. Le sujet comptait également : les participants ont évalué les réponses médicales moins favorablement que celles sur le jardinage ou les mathématiques pour l’exactitude perçue, la confiance et l’impression générale.
Les résultats suggèrent que les indices peuvent influencer certaines premières impressions dans ce test, mais que les jugements tiennent aussi compte de l’exactitude et du sujet. Comme les participants n’ont évalué qu’une seule capture d’écran, l’étude n’établit pas d’effet sur les vérifications ou les décisions réelles.
Détails
- Auteurs de l’article original
- Greta Warren, Jessica Heal, Sila Eser, Denise M. Leto, Christine M. Lehane
- Soumis à arXiv
- Licence
- CC BY 4.0