FR
Dans un système RAG testé, les gains de recherche diminuent quand les techniques se combinent
Retrieval Augmented Generation Compositionality · arXiv:2610.29722
En termes simples
La génération augmentée par récupération (RAG) consiste à retrouver des documents puis à s’en servir pour rédiger une réponse. Cet article présente lasagna, un cadre open source qui permet aux chercheurs de remplacer un élément du système et de le tester avec le reste.
Les auteurs ont constaté que trois techniques donnant de bons résultats de recherche séparément apportaient un gain plus faible lorsqu’elles étaient réunies dans une chaîne testée. Ils ont aussi observé que retrouver des documents utiles et rédiger des réponses fondées sur ces documents ne s’amélioraient pas de façon fiable ensemble dans les configurations étudiées.
La recherche
Quand un système de recherche combine plusieurs techniques, les gains mesurés pour chacune se maintiennent-ils dans le système complet ? Et un système qui trouve des documents pertinents produit-il aussi des réponses fondées sur ces documents ? Les auteurs examinent ces questions à travers différentes configurations et tailles de corpus.
Les auteurs ont créé lasagna, un cadre qui isole les étapes pour tester des composants RAG dans des systèmes complets, puis ont comparé leurs effets sur la recherche, l’ancrage des réponses et différentes tailles de corpus.
Les auteurs cherchent à savoir si les gains de techniques de recherche individuelles se maintiennent lorsqu’elles sont réunies dans un système complet, et si les mêmes choix améliorent la recherche de documents et l’ancrage des réponses.
Ils ont créé lasagna, un cadre qui évalue les composants au sein d’un système de génération augmentée par récupération (RAG).
Dans une comparaison, trois techniques laissaient prévoir un gain relatif de 46,6 % par rapport à la chaîne standard utilisée par défaut, mais n’ont obtenu que 17,2 % une fois combinées sur le même sous-ensemble de test.
Dans 113 configurations, la qualité de recherche et la fidélité des réponses étaient presque sans corrélation. Pour les configurations étudiées, ces résultats montrent que les gains isolés ne prédisent pas de façon fiable le résultat combiné et que la recherche seule ne permet pas de savoir si les réponses sont ancrées dans les documents retrouvés.
Ces résultats proviennent d’un seul banc d’essai construit en anglais, avec au plus 93 requêtes de recherche et 200 requêtes de génération de réponses par expérience. Les scores de fidélité dépendent en partie du calibrage de l’évaluateur.
L’étude ne permet pas d’établir les performances des profils testés sur des données multilingues, privées ou d’entreprise.
Ce que montrent les preuves
- Tester les composants dans leur contexte
L’article présente lasagna, un cadre open source qui évalue les composants de génération augmentée par récupération (RAG) au sein de systèmes complets. Un système RAG retrouve des documents et s’en sert pour aider à rédiger des réponses.
Le cadre fixe des points de connexion entre les étapes : les chercheurs peuvent remplacer un composant et l’évaluer avec le reste du système. Les auteurs utilisent ce dispositif pour examiner si les gains isolés se maintiennent quand les techniques sont combinées, selon différents objectifs et différentes tailles de corpus.
- Les gains séparés peuvent diminuer
Les auteurs ont comparé trois techniques qui amélioraient chacune la recherche séparément à une chaîne équilibrée qui les réunissait. La qualité de recherche était mesurée par NDCG@10, un score qui indique si les documents pertinents figurent parmi les dix premiers résultats.
Sur le même sous-ensemble de test réservé à l’évaluation, réparti sur cinq domaines, les gains séparés laissaient prévoir une amélioration relative de 46,6 % par rapport à la chaîne standard utilisée par défaut ; la combinaison a obtenu 17,2 %. Pour cette combinaison, les gains isolés surestimaient le résultat obtenu ensemble.
- Mesurer les deux résultats
Retrouver des documents utiles et produire des réponses fondées sur ces documents sont deux résultats distincts. Les auteurs ont comparé la qualité de recherche et la fidélité des réponses dans 113 configurations évaluées sur les deux volets.
La fidélité mesure si les affirmations générées sont étayées par le contexte retrouvé ; GPT-5.1 a attribué les scores à l’aide de RAGAS. Dans ces configurations, les deux mesures étaient presque sans corrélation : le résultat sur l’une ne permettait pas de prévoir de façon fiable le résultat sur l’autre.
- La taille du corpus change le classement
Les auteurs ont aussi comparé les profils standard et balanced en faisant passer un corpus construit de 5 000 à 200 000 documents. Le profil standard était en tête aux deux plus petites tailles ; balanced l’était à partir de 25 000 documents.
À 200 000 documents, son score de recherche dépassait celui du profil standard de 13,7 %, sur trois exécutions avec des graines aléatoires fixées. Le classement observé avec un petit corpus ne s’est donc pas maintenu sur toute la plage testée, même si les profils diffèrent par plusieurs composants.
- Aucun profil ne gagne sur tous les critères
La comparaison de quatre profils complets sur trois tests de questions-réponses n’a placé aucun profil en tête pour toutes les mesures. Avec un temps de réponse de référence fixé à 30 secondes, le profil standard avait le meilleur score conjoint pour la recherche, la fidélité et le temps de réponse ; deux profils plus complexes obtenaient une fidélité mesurée plus élevée, mais répondaient plus lentement.
Avec les différences observées entre recherche et fidélité, ces résultats montrent pourquoi l’étude ne désigne pas un système universellement meilleur.
Détails
- Auteurs de l’article original
- Ido Levy, Segev Shlomov, Leshem Choshen
- Soumis à arXiv
- Licence
- CC BY 4.0