Remonter le parcours des éléments de preuve avant de modifier les réponses aux questions documentaires

Une réponse erronée peut survenir même lorsque des éléments utiles existent : le système peut continuer à chercher au lieu de lire, perdre une marque visuelle de l’auteur, présenter une page de façon peu claire ou consulter le mauvais fichier de sortie.

Les études invitent à repérer l’étape où les éléments sont devenus difficiles à trouver, à interpréter ou à utiliser, puis à tester un changement à cet endroit. Chacune établit un résultat pour sa propre tâche et son propre protocole d’évaluation.

Imaginons que vous demandiez à un assistant documentaire de relever les exigences qu’un auteur de politique a signalées comme particulièrement importantes. Il fournit une liste fluide, mais le convertisseur du document a supprimé le texte rouge et le surlignage qui distinguaient ces exigences.

Les mots de la politique sont peut-être toujours présents. Mais la distinction demandée a disparu avant même que le modèle chargé de répondre puisse les voir.

C’est une forme de réponse erronée : les éléments de preuve ont été altérés lors de leur préparation.

Imaginons maintenant une question dont la réponse se trouve dans un tableau, sur une page retrouvée par le système.

Trouver cette page donne accès au bon document au modèle chargé de répondre, mais le tableau peut rester difficile à lire dans l’image de la page qu’il reçoit. Une étude sur les questions portant sur des documents visuels modifie l’entrée correspondant à la page tout en gardant la recherche et le modèle chargé de répondre inchangés. La défaillance possible se situe donc après la recherche, au moment où les éléments trouvés sont présentés.

Un troisième cas concerne un simulateur scientifique. Son rapport affiche une valeur avec la précision nécessaire pour répondre à une question à choix multiple, tandis qu’un fichier plus court créé par l’agent affiche davantage de chiffres.

Si l’agent consulte ce fichier plus court, il peut choisir la mauvaise option alors même qu’il a exécuté la simulation. Avec les exemples de la politique et de la page, ce cas soulève une question pratique : à quelle étape les éléments de preuve utiles ont-ils cessé d’alimenter la réponse ?