IT
Tessera porta le prove delle pagine Web nel contesto del lettore
In parole semplici
Le pagine Web spesso presentano informazioni in tabelle, elenchi e riquadri, dove titoli e intestazioni aiutano a capire cosa significano le voci. I sistemi di ricerca possono trovare la pagina giusta, ma fornire al modello linguistico blocchi che non contengono quei dati o il contesto necessario.
Tessera è un livello che riprende le pagine trovate e raccoglie passaggi pertinenti corredati dalle relative etichette nello spazio già disponibile al lettore. Nei test su tre sistemi testuali e basati su schermate ha migliorato l’accuratezza complessiva delle risposte, ma la valutazione riguardava Wikipedia in inglese.
La ricerca
Quando un sistema di ricerca trova una pagina Web utile, il lettore riceve le prove della risposta insieme alle etichette e alle intestazioni necessarie per capirle?
Gli autori hanno seguito le prove attraverso una pipeline di recupero e hanno rilevato che alcune informazioni presenti nei blocchi salvati non arrivavano mai al lettore.
Tessera ricostruisce le pagine recuperate in unità di prove corredate da etichette, poi inserisce quelle pertinenti nello spazio già previsto per il lettore senza cambiare il budget di contesto.
Seguendo le prove dalle fonti al lettore, i ricercatori hanno rilevato che le citazioni arrivavano al lettore nel 59.5% delle domande le cui pagine citate supportavano le risposte di riferimento. Nel 16.5% dei casi, le prove erano state salvate ma mancavano nell’input del lettore.
Quando i ricercatori hanno fornito un blocco completo di prove salvato per 715 domande interessate, l’accuratezza è salita dal 49.1% al 78.5%. Nel confronto principale, un modello lettore ha risposto usando o i tre elementi recuperati meglio oppure i primi due più il blocco di prove di Tessera nello stesso spazio previsto per il terzo elemento.
Un modello valutatore ha confrontato le risposte con quelle di riferimento. L’accuratezza complessiva è aumentata in tre pipeline testuali e basate su schermate esaminate: il risultato sostiene l’idea che fornire le prove della pagina insieme al loro contesto possa essere utile.
Le valutazioni principali usano Wikipedia in inglese, con pagine ricche di tabelle e riquadri informativi. Non stabiliscono come Tessera gestisca le tabelle usate per l’impaginazione nel Web aperto, il rendering lato client o il markup più disordinato.
Cosa mostrano le prove
- Trovare la pagina non basta
La retrieval-augmented generation sul Web fornisce a un modello linguistico materiale tratto dalle pagine cercate per aiutarlo a rispondere. Ma le pagine Web presentano informazioni in tabelle, riquadri, elenchi e didascalie, oltre che nel testo.
Etichette e intestazioni spesso ne chiariscono il significato. Blocchi di testo di dimensione fissa o riquadri ricavati da schermate possono separare le prove dal loro contesto, oppure escludere le informazioni strutturate prima che arrivino al lettore.
- Fornire prove con il loro contesto
Tessera è un livello di distribuzione delle prove che non richiede addestramento. Usa l’elenco ordinato dei risultati per individuare le pagine, ne riapre il codice HTML e crea unità brevi — per esempio righe di tabella, voci di elenco e paragrafi — corredate dal titolo della pagina, dal percorso della sezione o dalle intestazioni della tabella necessarie a comprenderle.
Seleziona le unità pertinenti alla domanda e le colloca nello spazio di un elemento già previsto per il lettore, lasciando invariati l’indice, il sistema di recupero, il lettore e il budget di contesto.
- Seguire la perdita delle prove
Gli autori hanno seguito le prove citate in una pipeline ibrida basata sul testo per individuare dove andavano perse. Tra 5,883 domande le cui pagine citate supportavano le risposte di riferimento, le prove sono arrivate al lettore nel 59.5% dei casi; nel 16.5% erano presenti nei blocchi salvati ma mancavano nell’input del lettore.
Per 715 domande di quest’ultimo gruppo, in cui un blocco salvato conteneva tutte le prove, sostituire il terzo elemento con quel blocco ha portato l’accuratezza dal 49.1% al 78.5%. Questo intervento oracle mostra il potenziale valore di fornire le prove, non il risultato ottenuto da Tessera.
- Confrontare lo stesso budget del lettore
Nel confronto principale, il lettore ha ricevuto o i tre elementi migliori della pipeline oppure i primi due più un blocco di prove Tessera nello spazio previsto per il terzo. A parità di budget di contesto, l’accuratezza complessiva delle risposte è aumentata di 5.0 punti percentuali nella pipeline ibrida basata sul testo degli autori, di 6.2 in quella testuale di PixelRAG e di 5.6 in quella di PixelRAG basata su schermate.
Un’ablazione separata ha rilevato un miglioramento maggiore per le unità con titoli, percorsi delle sezioni e intestazioni rispetto alle unità prive di questi elementi, sostenendo il ruolo della struttura aggiunta nella configurazione esaminata.
- Estendere la ricerca a più passaggi
Il livello ha migliorato anche l’accuratezza di un agente di ricerca in più passaggi su due test che richiedono informazioni provenienti da più fonti. Il miglioramento è stato maggiore su FRAMES che su MuSiQue, le cui domande attingono per lo più a singoli paragrafi del testo introduttivo delle sezioni.
Nel complesso, i risultati sostengono l’utilità di distribuire le prove nelle configurazioni testuali, basate su schermate e di ricerca ripetuta esaminate. La valutazione usa Wikipedia in inglese, quindi non stabilisce come il metodo si comporti con impaginazioni Web o modalità di rendering diversi.
Dettagli
- Autori del paper originale
- Peichun Hua, He Sun, Zirui Zhuang, Qi Qi, Yiming Qiu
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive