Chiosa
IT
NLP & Language

Una ricompensa per frase aiuta i modelli RAG a fondare ciò che scrivono

Copying Is Not Grounding: Training Faithful Long-Form RAG with Authored-Sentence Credit · arXiv:2610.18442

4 min
Aggiornato
A faithfulness reward can be hacked by copying (ASQA). (a) Under the reward’s checker, the sentences a model writes itself are unsupported 3.2 to 3.7 times as often as those it copies. (b)…
A faithfulness reward can be hacked by copying (ASQA). (a) Under the reward’s checker, the sentences a model writes itself are unsupported 3.2 to 3.7 times as often as those it copies. (b) Qwen3.5-9B after training: GRPO copies and nearly stops writing, GRPO + KL writes less…Figure 1 · Copying Is Not Grounding: Training Faithful Long-Form RAG with Authored-Sentence Credit · Hoang Pham et al. · CC BY 4.0
#cost-performance#calibrated-reward#evidence-routing#product-experience

In parole semplici

Alcuni sistemi di AI rispondono alle domande usando passaggi recuperati dai documenti. Un verificatore può considerare supportato un testo copiato; addestrare il sistema a massimizzare il numero di frasi supportate può quindi premiare la copia invece di insegnargli a fondare ciò che scrive di suo.

Authored-Sentence Credit (ASC) è un metodo di addestramento che valuta una frase alla volta. Le frasi copiate e quelle supportate dalla sola domanda non ottengono credito; quelle nuove devono essere supportate dai passaggi.

Nei modelli testati, un valutatore distinto ha rilevato una riduzione relativa mediana del 38% nella quota di frasi scritte dal modello che giudicava non supportate dopo aver letto i passaggi. I valutatori delle risposte complete hanno giudicato la qualità delle risposte pari a quella dei modelli base.

La ricerca

Quando un modello risponde usando passaggi recuperati, che cosa dimostra che sa supportare le proprie affermazioni? Una frase copiata da un passaggio può essere corretta senza mostrare che il modello sappia fondare ciò che scrive.

L'articolo chiede se il credito durante l'addestramento possa distinguere la copia dei passaggi dalla scrittura del modello supportata dalle fonti.

Authored-Sentence Credit assegna a ogni frase un proprio punteggio di addestramento, premiando il testo supportato dai passaggi e negando credito alle copie o alle frasi senza supporto.

Quattro modelli di istruzioni addestrati su due corpora di domande e risposte sono stati confrontati usando impostazioni condivise.

Nei 20 abbinamenti tra modello e corpus, un valutatore distinto, Gemma-4-31B, ha rilevato una riduzione relativa mediana del 38%, rispetto ai corrispondenti modelli base, nella quota di frasi scritte dal modello che giudicava non supportate dopo aver letto i passaggi.

I valutatori delle risposte complete hanno giudicato la qualità pari a quella dei modelli base. Questo sostiene l'interpretazione degli autori secondo cui la scrittura fondata sulle fonti dovrebbe ottenere la ricompensa.

Le evidenze riguardano quattro modelli addestrati su due corpora, e ogni modello di riferimento ha avuto una sola esecuzione di addestramento. L'articolo non specifica se ciascun modello addestrato sia partito dallo stesso checkpoint del modello base usato come confronto.

Cosa mostrano le prove

  • La ricompensa può favorire la copia

    Authored-Sentence Credit (ASC) è un metodo di addestramento per la generazione aumentata dal recupero (RAG) di risposte lunghe: i modelli rispondono alle domande usando passaggi recuperati per ciascuna domanda. Affronta una discrepanza: la consueta ricompensa di fedeltà conta la quota di frasi che un verificatore giudica supportate dai passaggi, ma anche le frasi copiate possono superare il controllo.

    Un punteggio più alto, quindi, non significa necessariamente che il modello abbia imparato a fondare meglio ciò che scrive di suo.

  • Le annotazioni umane mostrano lo scarto

    Per verificare se la discrepanza comparisse anche al di fuori del verificatore automatico della ricompensa, annotatori umani hanno etichettato frasi nelle risposte di RAGTruth. Su 131,087 frasi annotate, hanno indicato come errato il 12.2% di quelle scritte dal modello, contro l'1.9% di quelle copiate.

    I ricercatori hanno calcolato ciascuna percentuale all'interno del rispettivo gruppo in base alla provenienza della frase. Il confronto riguarda le risposte di RAGTruth annotate, non tutte le risposte RAG.

  • Come funziona il punteggio per frase

    ASC affronta la discrepanza assegnando credito solo se una frase è scritta dal modello, non è supportata dalla sola domanda ed è supportata dai passaggi recuperati. Confronta il credito di ogni frase con quello delle frasi nelle risposte campionate per la stessa domanda.

    Le frasi copiate, supportate dalla sola domanda o non supportate si collocano così in fondo alla graduatoria. Se almeno una frase ottiene credito, quelle che non superano un controllo ricevono un peso di addestramento negativo; se nessuna lo ottiene, non ricevono comunque rinforzo positivo.

  • I risultati principali misurano il supporto

    I ricercatori hanno addestrato quattro modelli di istruzioni su due corpora di domande e risposte e hanno confrontato ASC con tre altri segnali di addestramento usando impostazioni condivise. Nei 20 abbinamenti tra modello e corpus, un valutatore distinto, Gemma-4-31B, ha rilevato una riduzione relativa mediana del 38%, rispetto ai corrispondenti modelli base, nella quota di frasi scritte dal modello che giudicava non supportate dopo aver letto i passaggi.

    Un secondo valutatore, MiniCheck-Flan-T5-Large, ha rilevato una mediana del 46% in più di frasi supportate per risposta: un conteggio, non una quota.

  • I miglioramenti non hanno attivato i criteri di scorciatoia

    Questi miglioramenti negli errori vanno verificati rispetto a possibili scorciatoie, come copiare, fare affermazioni vuote, rifiutare o rispondere in modo più breve. Copy è la frazione di parole della risposta coperta da corrispondenze testuali esatte di cinque parole con i passaggi; Vac. è la quota di frasi scritte dal modello e supportate dai passaggi che sono supportate anche dalla sola domanda.

    Nessuno dei 20 abbinamenti di ASC è stato segnalato: un abbinamento contava come scorciatoia se Copy, Vac. o il tasso di rifiuto superava di oltre 3 punti percentuali il valore del corrispondente modello base, oppure se la risposta era più corta dell'85% rispetto a quella del modello base.

    Due valutatori hanno confrontato le risposte complete in base a quanto fossero utili per un lettore; nei 20 abbinamenti, i loro tassi medi di vittoria di ASC rispetto ai modelli base sono stati 51.0% e 49.1%, contando pareggi e disaccordi come mezza vittoria.

  • Risultati di trasferimento e confronto di controllo

    Su ClapNQ, ELI5 ed ExpertQA, tre test di domande e risposte del tutto assenti dall'addestramento e basati su passaggi recuperati, la riduzione mediana degli errori nelle frasi scritte dal modello è stata del 38% sui quattro modelli rispetto ai rispettivi modelli base.

    In un'analisi di controllo separata con Qwen3.5-9B, sostituire il confronto tra frasi con un punteggio per l'intera risposta ha aumentato l'errore in quattro dei cinque corpora. Ciò sostiene il ruolo del credito assegnato a livello di frase nella configurazione testata e limita il risultato di trasferimento a quei tre corpora.

Dettagli

Paper originaleCopying Is Not Grounding: Training Faithful Long-Form RAG with Authored-Sentence CreditApri originale
Inviato ad arXiv
Licenza
CC BY 4.0
codeCode repository