ES
Las técnicas de recuperación pierden mejoras al combinarse
Retrieval Augmented Generation Compositionality · arXiv:2610.29722
En palabras sencillas
La generación aumentada por recuperación, o RAG, consiste en buscar documentos y utilizarlos para ayudar a redactar una respuesta. Este artículo presenta lasagna, un marco de código abierto que permite a los investigadores sustituir un componente de una canalización y probarlo junto con el resto del sistema.
Los autores observaron que tres técnicas con buenos resultados de recuperación por separado produjeron una mejora menor al combinarlas en una canalización probada. También observaron que, entre las configuraciones estudiadas, encontrar documentos útiles y redactar respuestas fundamentadas en ellos no mejoraba de forma fiable al mismo tiempo.
La investigación
Cuando un sistema de recuperación combina varias técnicas, ¿se mantienen en la canalización completa las mejoras medidas para cada una? Y ¿una canalización que encuentra documentos pertinentes también produce respuestas fundamentadas en ellos?
Los autores examinan estas preguntas en distintas configuraciones de canalización y tamaños de corpus.
Los autores crearon lasagna, un marco que aísla etapas para probar componentes RAG en canalizaciones completas, y compararon opciones según la recuperación, la fundamentación de respuestas y el tamaño del corpus.
Los autores preguntan si las mejoras de técnicas de recuperación individuales se mantienen al combinarlas en una canalización completa y si las mismas decisiones ayudan tanto a recuperar documentos como a fundamentar respuestas.
Para estudiarlo, crearon lasagna, un marco que prueba componentes dentro de un sistema RAG completo.
En una comparación, tres técnicas predecían una mejora de recuperación del 46.6% frente a la canalización estándar predeterminada, pero juntas alcanzaron el 17.2% en la misma partición de prueba. En 113 configuraciones, la calidad de recuperación y la fidelidad de las respuestas estuvieron casi incorrelacionadas.
Estos resultados muestran que las mejoras aisladas no predicen de forma fiable el rendimiento conjunto y que la recuperación por sí sola no indica si las respuestas están fundamentadas.
Estos hallazgos proceden de un único banco de pruebas construido en inglés, con un máximo de 93 consultas de recuperación y 200 consultas de generación de respuestas por experimento.
Las puntuaciones de fidelidad dependen en parte de la calibración del evaluador, y los resultados no establecen cómo funcionan los perfiles probados con datos multilingües, privados o empresariales.
Qué muestran las pruebas
- Probar componentes dentro del sistema
El artículo presenta lasagna, un marco de código abierto para evaluar componentes de generación aumentada por recuperación (RAG) dentro de canalizaciones completas. Los sistemas RAG recuperan documentos y los utilizan para ayudar a generar respuestas.
El marco establece interfaces fijas para las etapas de la canalización, de modo que los investigadores puedan sustituir un componente y evaluarlo dentro del sistema que lo rodea. Los autores utilizan este método para preguntar si las mejoras aisladas se mantienen al combinar técnicas, con distintos objetivos y tamaños de corpus.
- Las mejoras aisladas pueden reducirse
Los autores compararon tres técnicas que mejoraban la recuperación por separado con una canalización equilibrada que las combinaba. Midieron la calidad de recuperación con NDCG@10, una puntuación que indica hasta qué punto los documentos pertinentes aparecen entre los primeros resultados recuperados.
En la misma partición de prueba reservada para cinco ámbitos, las mejoras individuales de las técnicas predecían una mejora relativa del 46.6% frente a la canalización estándar predeterminada, mientras que la combinación alcanzó el 17.2%. En esta combinación, las mejoras aisladas sobreestimaron el resultado conjunto.
- Medir ambos resultados
Encontrar documentos útiles y producir respuestas fundamentadas en esos documentos son resultados distintos. Los autores compararon la calidad de recuperación y la fidelidad de las respuestas en 113 configuraciones evaluadas en ambas categorías.
La fidelidad mide si el contexto recuperado respalda las afirmaciones de las respuestas generadas; GPT-5.1 asignó las puntuaciones de RAGAS. Las dos medidas estuvieron casi incorrelacionadas en estas configuraciones, por lo que el resultado de una no indicaba de forma fiable el de la otra.
- El tamaño del corpus cambia el orden
Los autores también probaron perfiles estándar y equilibrados al ampliar un corpus construido de 5,000 a 200,000 documentos. El estándar lideró en los dos tamaños más pequeños; el equilibrado lideró a partir de 25,000 documentos.
Con 200,000 documentos, la puntuación de recuperación del perfil equilibrado fue un 13.7% más alta que la del estándar en tres ejecuciones con semillas distintas. Esto muestra que el orden observado con corpus pequeños no se mantuvo en todo el intervalo probado, aunque los perfiles difieren en varios componentes.
- Ningún perfil gana en todas las medidas
La comparación de cuatro perfiles completos con tres pruebas de pregunta y respuesta no encontró un perfil que liderara en todas las medidas. Tomando como referencia un tiempo de respuesta fijo de 30 segundos, el perfil estándar obtuvo la puntuación conjunta más alta en recuperación, fidelidad y tiempo de respuesta; dos perfiles más complejos lograron una fidelidad medida mayor, pero tardaron más en responder.
Junto con las diferencias entre los resultados de recuperación y fidelidad, esto explica por qué el estudio no identifica una canalización universalmente mejor.
Detalles
- Autores del paper original
- Ido Levy, Segev Shlomov, Leshem Choshen
- Enviado a arXiv
- Licencia
- CC BY 4.0