Sigue el recorrido de la evidencia antes de cambiar las respuestas sobre documentos

Una respuesta incorrecta puede aparecer incluso cuando hay evidencia útil: un sistema puede seguir buscando en vez de leer, perder una marca visual del autor, presentar una página de forma poco clara o consultar el archivo de salida equivocado.

Los estudios sugieren rastrear dónde se volvió difícil encontrar, interpretar o usar la evidencia y luego probar un cambio en ese punto. Cada estudio establece un resultado para su propia tarea y evaluación.

Imagina que le pides a un asistente de documentos que enumere los requisitos que el autor de una política destacó especialmente. El asistente devuelve una lista fluida, pero el conversor del documento ha eliminado el texto rojo y el resaltado que señalaban esos requisitos.

Puede que las palabras de la política sigan ahí. Sin embargo, la distinción que pide la pregunta ha desaparecido antes de que el modelo que responde pueda verla. Este es un tipo de respuesta incorrecta: la evidencia se alteró durante la preparación.

Imagina ahora una pregunta cuya respuesta aparece en una tabla de una página recuperada. Encontrar la página permite que el modelo que responde acceda al documento correcto, pero quizá la tabla siga siendo difícil de leer en la imagen de la página que recibe.

Un estudio sobre preguntas acerca de documentos visuales cambia la entrada de la página y mantiene fijos tanto el proceso de recuperación como el modelo que responde. Así, sitúa el posible fallo después de la búsqueda, en el momento en que se presenta el material encontrado.

Un tercer caso procede de un simulador científico. Su informe muestra un valor con la precisión necesaria para responder una pregunta de opción múltiple, mientras que un archivo más breve creado por el agente muestra más dígitos.

Si el agente consulta el archivo más breve, puede elegir la opción incorrecta pese a haber ejecutado la simulación. Junto con los ejemplos de la política y la página, este caso plantea una pregunta práctica: ¿en qué paso dejó la evidencia útil de llegar a la respuesta?