Séparer recherche et lecture améliore les réponses sur les documents

Répondre à des questions sur des documents demande deux opérations différentes : chercher largement des contenus pertinents, puis s’arrêter pour examiner un passage, un tableau ou un graphique délimité.

La question reste de savoir si des étapes distinctes, limitées à des outils différents, peuvent empêcher la recherche de prendre le pas sur la lecture tout en retrouvant les documents manquants.

KnowForge sépare la recherche d’éléments de preuve de leur lecture et vérifie les documents manquants afin qu’un système de questions-réponses puisse examiner davantage de contenus récupérés.

L’article compare le processus complet de KnowForge à une recherche suivie d’une réponse en un seul passage, avec le même index, le même modèle et le même test M3DocVQA de 2,441 questions.

M3DocVQA porte sur 3,368 PDF, où les preuves peuvent être du texte, des tableaux ou des images ; le processus complet obtient 47.5 F1 contre 40.4, soit un gain de 7.1 points.

Cette comparaison relie le gain au changement de méthode : le Locator cherche, une vérification des liens entre documents repère une étape manquante, puis le Deep Reader ouvre les contenus récupérés avant la synthèse.

Dans un contrôle des rôles, un agent unique doté de tous les outils a davantage cherché, moins lu et obtenu un score inférieur de 1.9 F1 ; ce résultat étaye l’interprétation des auteurs selon laquelle la séparation des tâches aide à maintenir la lecture dans le processus.

Les résultats se limitent aux modèles testés, au protocole d’utilisation d’outils en plusieurs tours, aux conditions des benchmarks, à l’évaluation par un modèle juge pour un test de transfert et à une seule configuration de latence ; ils n’établissent ni un comportement universel ni des performances en déploiement.