IT
Un modello linguistico classifica le pagine dai clic di ricerca
Octen-WebGR: Scaling Generative Retrieval to 200 Million Web Pages · arXiv:2610.35256
In parole semplici
Alcune ricerche mirano a una pagina precisa. Una tabella dei clic può non conoscere un modo nuovo di formulare la ricerca, mentre un sistema basato sulla somiglianza può mettere al primo posto una pagina soltanto correlata.
Octen-WebGR addestra un modello linguistico a produrre un identificativo breve per la pagina su cui le persone hanno cliccato, poi usa una tabella per recuperare l’URL. Sul traffico osservato in seguito, il suo modello 4B ha messo la pagina obiettivo al primo posto per il 59,6% dei clic navigazionali, contro il 46,5% di un sistema basato sulla somiglianza e corretto usando il conteggio dei clic. È stato un test offline, non un esperimento con un servizio di ricerca in uso.
La ricerca
Quando una persona cerca una pagina specifica usando parole mai comparse nelle ricerche precedenti, una tabella dei clic non può rispondere direttamente e un sistema basato sulla somiglianza può mettere al primo posto una pagina correlata.
Un metodo di ricerca può imparare quale destinazione intende la persona e limitare le risposte alle pagine esistenti?
Octen-WebGR addestra un modello linguistico a generare identificativi di pagina dai clic, poi li usa per classificare URL esistenti nelle ricerche navigazionali.
Octen-WebGR apprende a generare un identificativo univoco per la pagina associata a una query, poi lo riconduce a un URL esistente. Gli autori verificano se il metodo mette al primo posto l’obiettivo con più clic sul traffico di settembre, dopo un addestramento basato su dati fino ad agosto.
Il modello 4B ha messo la pagina obiettivo al primo posto per il 59,6% dei clic navigazionali, contro il 46,5% del recupero denso corretto in base al conteggio dei clic di addestramento.
Il risultato sostiene il metodo in questo confronto offline, ponderato per i clic; i risultati variano in funzione della quantità di esempi di addestramento disponibili per la pagina obiettivo.
Questi sono risultati offline, ottenuti dai campioni di traffico e dai dati di addestramento del paper. Il confronto a scala controllata riguarda 8 milioni e 32 milioni di URL; il test sulla distribuzione degli esempi riguarda pagine con almeno 16 coppie di addestramento. Nessuno dei due esclude limiti di capacità a scale maggiori.
Cosa mostrano le prove
- La pagina desiderata deve arrivare prima
La ricerca navigazionale ha un obiettivo preciso: mettere al primo posto la pagina desiderata. Una tabella dei clic può restituire una pagina per una query già vista, ma non contiene una voce per una query nuova.
Il recupero denso può gestire formulazioni nuove confrontando le rappresentazioni della query e della pagina; tuttavia, una pagina simile può superare in classifica quella desiderata. Il paper chiede se un modello linguistico possa apprendere dai clic il legame tra query e pagine di destinazione.
- Generare l’identificativo della pagina
Octen-WebGR è un metodo di recupero generativo: addestra un modello linguistico a produrre una coppia univoca di codici per la pagina associata a una query. Una tabella riconduce ogni coppia valida a un URL e la decodifica vincolata limita le risposte agli identificativi presenti in quella tabella.
Il modello 4B rilasciato copre circa 201 milioni di URL. La valutazione controlla se i sistemi mettono al primo posto la pagina con più clic, usando traffico di settembre successivo ai dati di addestramento del modello.
- Confronto su traffico successivo
Su quel traffico successivo, il modello 4B ha messo la pagina obiettivo al primo posto per il 59,6% dei clic navigazionali, contro il 46,5% del recupero denso riordinato usando i conteggi dei clic di addestramento. Il confronto usa lo stesso traffico, lo stesso insieme di URL e la stessa misura ponderata per i clic.
Il risultato mostra una classifica offline migliore rispetto a questa alternativa, ma la pagina obiettivo è definita dai clic e l’esperimento non valuta un servizio di ricerca online.
- Il vantaggio ha dei limiti
Il vantaggio dipende dalla quantità di dati di addestramento disponibili per una pagina. Per le nuove query su pagine già note, con almeno 11 coppie di addestramento, Octen-WebGR ha superato il recupero denso con la correzione basata sul conteggio dei clic.
Per le pagine meno note, con da 1 a 10 coppie, il recupero denso senza correzione ha messo più spesso al primo posto le pagine obiettivo. Le analisi separate sull’addestramento collegano la conservazione di quanto appreso al momento in cui compaiono gli esempi e al tasso di apprendimento durante l’esposizione.
In un test distinto su pagine con almeno 16 coppie di addestramento, distribuire gli esempi su più query ha migliorato hit@1 sulle query tenute da parte, rispetto alla ripetizione di due query. Questo sostiene una migliore generalizzazione alle query non viste nel gruppo esaminato, non una conclusione sulla conservazione di quanto appreso.
Dettagli
- Autori del paper originale
- Guangwei Xu, Wenkai Zhang, Yawen Liu, Dongxu Zhang, Xijie Xu
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive