FR
Une récompense par phrase aide les modèles RAG à étayer leurs formulations
Copying Is Not Grounding: Training Faithful Long-Form RAG with Authored-Sentence Credit · arXiv:2610.18442
En termes simples
Certains systèmes d’IA répondent aux questions en utilisant des passages récupérés dans des documents. Un vérificateur peut considérer un texte copié comme étayé.
Entraîner un système à maximiser le nombre de phrases jugées étayées risque donc de récompenser la copie au lieu de lui apprendre à justifier ses propres formulations. Authored-Sentence Credit (ASC) est une méthode d’entraînement qui évalue les phrases une par une.
Les phrases copiées et celles que la question suffit à étayer ne reçoivent aucun crédit ; les phrases nouvelles doivent être étayées par les passages. Dans les modèles évalués, un évaluateur distinct a relevé une réduction relative médiane de 38 % de la part des phrases rédigées qu’il jugeait non étayées après lecture des passages ; des évaluateurs de la réponse entière ont estimé que la qualité était comparable à celle des modèles de base.
La recherche
Quand un modèle répond à partir de passages récupérés, qu’est-ce qui montre qu’il sait justifier ses propres affirmations ? Une phrase copiée d’un passage peut être correcte sans démontrer que le modèle sait ancrer ce qu’il écrit dans les sources.
L’article examine si le crédit accordé pendant l’entraînement peut distinguer la copie des passages d’une rédaction étayée par des éléments probants.
Authored-Sentence Credit attribue un score d’entraînement à chaque phrase : il récompense les formulations étayées par les passages et refuse le crédit aux textes copiés ou sans preuve.
Quatre modèles suivant des instructions, entraînés sur deux corpus de questions-réponses, ont été comparés avec des paramètres communs.
Dans 20 combinaisons de modèle et de corpus, un évaluateur distinct, Gemma-4-31B, a relevé par rapport aux modèles de base correspondants une réduction relative médiane de 38 % de la part des phrases rédigées qu’il jugeait non étayées après lecture des passages.
Les évaluateurs de la réponse entière ont jugé sa qualité comparable à celle des modèles de base. Les auteurs y voient des éléments en faveur de l’idée que les formulations ancrées dans les sources devraient recevoir la récompense.
Les résultats portent sur quatre modèles entraînés sur deux corpus, et chaque modèle de référence n’a fait l’objet que d’un seul entraînement. L’article ne précise pas si chaque modèle entraîné est parti du même point de départ que le modèle de base auquel il est comparé.
Ce que montrent les preuves
- La récompense peut favoriser la copie
Authored-Sentence Credit (ASC) est une méthode d’entraînement pour la génération augmentée par récupération de documents (RAG) en format long, où les modèles répondent aux questions à l’aide de passages récupérés pour chacune d’elles.
Elle vise un décalage : la récompense habituelle de fidélité compte la part des phrases de réponse qu’un vérificateur juge étayées par les passages, mais les phrases copiées peuvent réussir ce contrôle. Un score plus élevé ne signifie donc pas nécessairement que les formulations du modèle sont mieux ancrées dans les sources.
- Les annotations humaines révèlent l’écart
Pour vérifier si ce décalage apparaît aussi au-delà du vérificateur automatique de récompense, des annotateurs humains ont étiqueté des phrases de réponses RAGTruth. Sur 131 087 phrases annotées, ils ont signalé comme erronées 12,2 % des phrases rédigées, contre 1,9 % des phrases copiées.
Les chercheurs ont calculé chaque pourcentage au sein de son propre groupe d’origine. Cette comparaison concerne les réponses RAGTruth annotées, et non toutes les réponses RAG.
- Comment fonctionne la récompense par phrase
ASC vise à corriger ce décalage en accordant du crédit uniquement aux phrases rédigées par le modèle, non étayées par la question seule et étayées par les passages récupérés. La méthode compare le crédit de chaque phrase à celui des phrases de réponses échantillonnées pour la même question.
Les phrases copiées, étayées par la question seule ou non étayées sont ainsi classées en bas du groupe. Si une phrase obtient du crédit, celles qui échouent à un test reçoivent un poids d’entraînement négatif ; si aucune n’en obtient, elles ne reçoivent toujours aucun renforcement positif.
- Les résultats mesurent l’étayage
Les chercheurs ont entraîné quatre modèles suivant des instructions sur deux corpus de questions-réponses et comparé ASC à trois autres signaux d’entraînement avec des paramètres communs. Dans 20 combinaisons de modèle et de corpus, un évaluateur distinct, Gemma-4-31B, a relevé par rapport aux modèles de base correspondants une réduction relative médiane de 38 % de la part des phrases rédigées qu’il jugeait non étayées après lecture des passages.
Un deuxième évaluateur, MiniCheck-Flan-T5-Large, a constaté une hausse médiane de 46 % du nombre de phrases rédigées et étayées par réponse : il s’agit d’un nombre, et non d’une proportion.
- Aucune stratégie de contournement détectée
Ces progrès sur les erreurs doivent aussi être examinés au regard de stratégies de contournement, comme la copie, les affirmations sans contenu, les refus ou les réponses plus courtes. « Copy » désigne la fraction des mots couverte par des correspondances littérales de cinq mots avec les passages ; « Vac. » indique la part des phrases rédigées et étayées par les passages qui sont aussi étayées par la question seule.
Aucune des 20 configurations d’ASC n’a été signalée : une configuration était considérée comme une stratégie de contournement si « Copy », « Vac. » ou le taux de refus dépassait de plus de 3 points de pourcentage celui du modèle de base correspondant, ou si la réponse faisait moins de 85 % de la longueur de la réponse du modèle de base correspondant.
Deux évaluateurs ont comparé les réponses entières selon leur utilité pour le lecteur ; leurs taux moyens de victoire d’ASC face aux modèles de base étaient de 51,0 % et 49,1 % sur les 20 configurations, les égalités et désaccords comptant pour une demi-victoire.
- Résultats sur les corpus absents et test de contrôle
Sur ClapNQ, ELI5 et ExpertQA, trois jeux d’évaluation de questions-réponses absents de l’entraînement et utilisant des passages récupérés, la réduction médiane du taux d’erreur des phrases rédigées était de 38 % pour les quatre modèles par rapport à leurs modèles de base.
Dans une ablation distincte avec Qwen3.5-9B, remplacer la comparaison phrase par phrase par un score pour la réponse entière a augmenté le taux d’erreur des phrases rédigées sur quatre des cinq corpus. Ces résultats étayent le rôle de la récompense par phrase dans cette configuration testée et limitent le constat de transfert à ces trois corpus.
Détails
- Auteurs de l’article original
- Hoang Pham, Duc Anh Vu, Duy Tung Doan, Cong-Duy T Nguyen, Anh Tuan Luu
- Soumis à arXiv
- Licence
- CC BY 4.0