FR
Certify vérifie chaque fait nécessaire avant de répondre à une question de recherche
Knowing When the Evidence Is Enough: Requirement-Directed Search with Horn-Closure Certificates · arXiv:2610.34684
En termes simples
Un assistant de recherche doit souvent déterminer si les pages qu’il a trouvées contiennent tous les faits nécessaires pour répondre. Certify vérifie ces faits un par un, puis fournit une réponse accompagnée d’un petit ensemble de passages justificatifs, ou s’abstient en indiquant ce qui manque.
Sur des paires de questions comprenant une question d’origine à laquelle il est possible de répondre et une jumelle privée d’éléments de preuve importants, Certify a pris des décisions plus exactes — répondre ou s’abstenir — que les méthodes testées dans leurs configurations par défaut. Ce résultat se limite à ces évaluations.
La recherche
Lorsqu’un assistant de recherche répond trop tôt, il peut affirmer quelque chose que les pages récupérées n’étayent pas. Pourtant, un contexte peut mentionner les bonnes personnes et les bons lieux tout en omettant un fait dont dépend la réponse. Un assistant peut-il vérifier chaque fait requis et indiquer ce qui manque encore ?
Certify recherche chaque fait requis, puis détermine si les éléments de preuve étayent une réponse ou indique ce qui manque encore.
En représentant les faits exigés par une question, Certify recherche chacun d’eux et vérifie si les éléments de preuve qui leur sont associés permettent de déduire la réponse. Elle renvoie ensuite un contexte justificatif minimal ou s’abstient en indiquant les exigences encore ouvertes.
L’article évalue cette décision à partir de questions auxquelles il est possible de répondre, associées à des jumelles privées de leurs éléments de preuve justificatifs. Certify était significativement plus précise que les méthodes testées de recherche, de récupération par graphe et d’évaluation de la suffisance, dans leurs configurations par défaut. Ces résultats étayent les vérifications exigence par exigence dans le cadre de ces évaluations.
Les garanties formelles dépendent de la récupération des éléments de preuve de référence, de la formulation correcte des exigences et de liens exacts entre les passages ; l’article établit aussi un résultat de solidité lorsque les liens acceptés sont corrects.
Un certificat montre que son contexte énonce les faits utilisés dans la déduction, mais ne prouve pas à lui seul que la réponse est correcte.
Ce que montrent les preuves
- Le problème du fait manquant
Certify est une méthode de recherche guidée par les exigences qui sert à déterminer si les éléments de preuve récupérés étayent une réponse. Les assistants de recherche doivent choisir entre répondre, poursuivre la recherche ou s’abstenir, et l’évaluation d’un contexte dans son ensemble peut masquer un fait manquant.
C’est particulièrement important lorsqu’une question exige plusieurs faits simultanément : en avoir la plupart ne suffit pas à rendre les éléments de preuve suffisants.
- Rechercher chaque fait requis
Certify représente les faits nécessaires pour répondre à une question et les liens entre eux, puis recherche chaque élément requis en utilisant les valeurs déjà trouvées. Elle relie les passages à l’exigence qu’ils énoncent et applique des règles de déduction pour vérifier si la réponse en découle.
Elle renvoie un contexte justificatif minimal et la déduction correspondante, ou s’abstient en indiquant les exigences encore ouvertes.
- Comparer les décisions sur des paires
Pour évaluer la décision de répondre ou de s’abstenir, l’article associe des questions auxquelles il est possible de répondre à des questions jumelles dont les éléments de preuve justificatifs ont été supprimés, puis vérifie si d’autres passages énoncent le fait manquant.
La précision de décision compte une réponse correcte pour une question d’origine ou une abstention pour sa jumelle comme une décision correcte. Sur trois corpus de questions-réponses, Certify était significativement plus précise que les agents de recherche, la récupération par graphe et les systèmes jugeant la suffisance des éléments de preuve, dans leurs configurations par défaut.
- Évaluer le contexte sélectionné
Une comparaison distincte avec un lecteur évalue le contexte fourni par Certify.
Pour les questions d’origine auxquelles elle a répondu, le même lecteur 8B a donné une réponse correcte dans 80,0 % des cas avec le contexte du certificat et dans 56,7 % avec l’ensemble des passages récupérés. Ces résultats étayent l’idée qu’un contexte concis et sélectionné peut aider le lecteur, mais ils s’appliquent uniquement à ce lecteur et à ces questions d’origine auxquelles Certify a répondu.
- Vérifier les liens à grande échelle
Dans une recherche distincte portant sur 21 millions de passages Wikipédia, la méthode a vérifié plus rigoureusement les liens en déterminant si un titre nommait le sujet recherché. Pour les paires dont les éléments de preuve de référence ont été vérifiés, l’ancrage par sujet a accru la précision de décision de 4 à 13 points de pourcentage selon les combinaisons de corpus et de taille de modèle testées.
La garantie formelle de l’article suppose que les exigences et les éléments de preuve sont corrects et que les liens sont exacts ; le résultat de solidité pour les liens acceptés suppose également des exigences correctes et que chaque lien accepté utilisé dans la déduction soit correct.
Détails
- Auteurs de l’article original
- Xinyu Zhang, Weiwei Sun
- Soumis à arXiv
- Licence
- arXiv non-exclusive