Separar la búsqueda de la lectura mejora las respuestas sobre documentos

Responder preguntas sobre documentos exige dos tareas distintas: buscar ampliamente material pertinente y detenerse para examinar un fragmento, una tabla o una figura concreta.

No está claro si asignar esas tareas a etapas separadas, con herramientas limitadas, puede evitar que la búsqueda desplace a la lectura y, a la vez, encontrar documentos que falten.

KnowForge separa la búsqueda de evidencia de su lectura y comprueba si faltan documentos para que un sistema de preguntas y respuestas examine más de lo que recupera.

El artículo compara el flujo completo de KnowForge con la búsqueda y respuesta de un solo paso usando el mismo índice, modelo y prueba M3DocVQA de 2,441 preguntas.

M3DocVQA plantea preguntas sobre 3,368 archivos PDF cuya evidencia puede estar en el texto, las tablas o las imágenes; el flujo completo obtiene 47.5 F1 frente a 40.4, una diferencia de 7.1 puntos.

La comparación vincula la diferencia con el cambio de flujo: el Localizador busca, una comprobación de enlaces busca un paso que falte y el Lector Profundo abre el material recuperado antes de la síntesis. En una prueba de funciones, un solo agente con todas las herramientas buscó más, leyó menos y obtuvo 1.9 F1 menos.

Esto respalda la interpretación de los autores de que separar las tareas ayuda a mantener la lectura dentro del proceso.

La evidencia se limita a los modelos probados, el protocolo de herramientas en varias rondas, las condiciones de los benchmarks, la puntuación de un modelo evaluador en una prueba de transferencia y una configuración de latencia; no establece un comportamiento universal ni el rendimiento en producción.