IT
Le tecniche di retrieval perdono parte dei miglioramenti quando si combinano
Retrieval Augmented Generation Compositionality · arXiv:2610.29722
In parole semplici
La retrieval-augmented generation, o RAG, consiste nel trovare documenti e usarli per aiutare a scrivere una risposta. Questo paper presenta lasagna, un framework open source che permette ai ricercatori di sostituire un componente della pipeline e provarlo insieme al resto del sistema.
Gli autori hanno osservato che tre tecniche con buoni risultati di retrieval, misurate singolarmente, hanno prodotto un miglioramento più contenuto quando sono state combinate nella pipeline testata. Hanno anche rilevato che trovare documenti utili e scrivere risposte basate su quei documenti non miglioravano in modo affidabilmente correlato nelle configurazioni esaminate.
La ricerca
Quando un sistema di retrieval combina più tecniche, i miglioramenti misurati per ciascuna si mantengono nella pipeline completa? E una pipeline che trova documenti pertinenti produce anche risposte basate su quei documenti?
Gli autori esaminano queste domande confrontando configurazioni della pipeline e dimensioni del corpus.
Gli autori hanno creato lasagna, un framework che isola le fasi per testare componenti RAG in pipeline complete, e hanno confrontato le scelte in base al retrieval, al radicamento delle risposte e alle dimensioni del corpus.
Gli autori si chiedono se i miglioramenti ottenuti con singole tecniche di retrieval si mantengano quando queste vengono combinate in una pipeline completa e se le stesse scelte aiutino sia a recuperare documenti sia a fondare le risposte sul contesto.
Per esaminare queste domande, hanno creato lasagna, un framework che testa i componenti all’interno di un sistema RAG completo.
In un confronto, tre tecniche facevano prevedere un miglioramento del retrieval del 46.6% rispetto alla pipeline standard predefinita, ma insieme hanno raggiunto il 17.2% sulla stessa partizione di test. In 113 configurazioni, qualità del retrieval e faithfulness delle risposte erano quasi prive di correlazione.
Questi risultati mostrano che i miglioramenti isolati non prevedono in modo affidabile le prestazioni combinate e che il solo retrieval non indica se le risposte siano basate sui documenti recuperati.
I risultati provengono da un unico banco di prova costruito in inglese, con al massimo 93 query di retrieval e 200 query di generazione delle risposte per esperimento.
I punteggi di faithfulness dipendono in parte dalla calibrazione del valutatore e i risultati non stabiliscono come si comporterebbero i profili testati con dati multilingue, privati o aziendali.
Cosa mostrano le prove
- Testare i componenti nel sistema completo
Il paper presenta lasagna, un framework open source per valutare componenti della retrieval-augmented generation (RAG) all’interno di pipeline complete. I sistemi RAG recuperano documenti e li usano per aiutare a generare risposte.
Il framework assegna interfacce fisse alle fasi della pipeline, così i ricercatori possono sostituire un componente e valutarlo nel sistema circostante. Gli autori usano questa impostazione per chiedersi se i miglioramenti isolati si mantengano quando le tecniche vengono combinate, al variare degli obiettivi e delle dimensioni del corpus.
- I miglioramenti separati possono ridursi
Gli autori hanno confrontato tre tecniche che, prese singolarmente, miglioravano il retrieval con una pipeline bilanciata che le combinava. La qualità del retrieval è stata misurata con NDCG@10, un punteggio che indica quanto bene i documenti pertinenti compaiono tra i primi risultati.
Sulla stessa partizione di test in cinque domini, i miglioramenti delle tecniche misurate separatamente prevedevano un aumento relativo del 46.6% rispetto alla pipeline standard predefinita; la combinazione ha ottenuto il 17.2%. In questa combinazione, i risultati isolati sovrastimavano quello ottenuto insieme.
- Misurare entrambi i risultati
Trovare documenti utili e produrre risposte basate su quei documenti sono risultati distinti. Gli autori hanno confrontato qualità del retrieval e faithfulness delle risposte in 113 configurazioni valutate su entrambi i percorsi.
La faithfulness misura se le affermazioni generate sono supportate dal contesto recuperato; GPT-5.1 ha assegnato i punteggi RAGAS. Nelle configurazioni esaminate, le due misure erano quasi prive di correlazione: il risultato su una non indicava in modo affidabile quello sull’altra.
- La dimensione del corpus cambia la classifica
Gli autori hanno anche testato i profili standard e bilanciati ampliando un corpus costruito da 5.000 a 200.000 documenti. Lo standard era in testa con le due dimensioni più piccole; il bilanciato lo era da 25.000 documenti in poi.
Con 200.000 documenti, il punteggio di retrieval del profilo bilanciato era superiore del 13.7% a quello dello standard nelle tre esecuzioni con inizializzazioni diverse. La classifica ottenuta con un corpus piccolo non è quindi rimasta invariata nell’intero intervallo testato, anche se i profili differiscono per più componenti.
- Nessun profilo vince su ogni misura
Il confronto tra quattro profili completi su tre test di domanda e risposta non ha individuato un profilo migliore su ogni misura. Fissando a 30 secondi il riferimento per il tempo di risposta, lo standard ha ottenuto il punteggio combinato più alto per retrieval, faithfulness e tempo di risposta; due profili più articolati hanno registrato una faithfulness più alta, ma tempi di risposta più lunghi.
Insieme ai risultati distinti di retrieval e faithfulness, questo spiega perché lo studio non individua una pipeline migliore in ogni situazione.
Dettagli
- Autori del paper originale
- Ido Levy, Segev Shlomov, Leshem Choshen
- Inviato ad arXiv
- Licenza
- CC BY 4.0