Certains modèles repèrent les sources fiables sans tenir compte de leur historique

Quand des preuves se contredisent, une réponse qui change est ambiguë : le modèle a-t-il repéré l’historique pertinent d’une source, s’en est-il servi pour juger, ou a-t-il suivi un autre indice, comme l’ordre des rapports ?

Une seule mesure du changement de réponse ne permet pas de distinguer ces possibilités. Il devient alors difficile de savoir si la mise à jour apparente d’un modèle reflète bien les preuves que les chercheurs voulaient tester.

Les auteurs distinguent la reconnaissance de la fiabilité d’une source de l’influence de cette fiabilité sur un jugement, puis montrent que les prompts peuvent réorienter cette influence pour certains modèles.

Les auteurs ont créé une évaluation couvrant 500 univers, avec des scénarios fictifs appariés, des questions distinctes sur le repérage des indices et des choix finaux sur les affirmations à soutenir.

Dans chaque paire, un indice ciblé; par exemple l’historique d’une source; change tandis que certaines caractéristiques du scénario restent fixes. Comme les choix sans réponse établie n’ont pas d’état correct unique, l’influence est mesurée par la variation, en points de pourcentage, de la part des choix en faveur de l’état B.

Les résultats distinguent le repérage de l’utilisation : Qwen3.8-27B a repéré la source au meilleur historique dans 99.5 % des cas où les historiques différaient, mais son effet de l’historique était de 0.0 point. GPT-6 Sol a atteint 100.0 % pour les deux mesures.

Pour Qwen3.5-27B, le résultat est resté à 0.68 point lorsque le modèle repérait correctement les indices, contre 0.67 au total ; la faible influence ne s’expliquait donc pas simplement par un défaut de reconnaissance.

Ces résultats proviennent de scénarios textuels en anglais construits par les chercheurs, et l’intervention ne teste que trois checkpoints Qwen.

La sensibilité aux indices mesurée ici est comportementale : elle n’établit ni l’exactitude factuelle, ni l’amélioration des décisions dans le monde réel, ni la fiabilité du jugement.