ES
Un modelo de lenguaje ordena páginas a partir de clics de búsqueda
Octen-WebGR: Scaling Generative Retrieval to 200 Million Web Pages · arXiv:2610.35256
En palabras sencillas
Algunas búsquedas intentan encontrar una página concreta. Una tabla de clics puede no tener respuesta para una forma nueva de preguntar, mientras que un sistema que busca páginas parecidas puede colocar primero una página relacionada.
Octen-WebGR entrena un modelo de lenguaje para producir un identificador breve de la página en la que la gente hizo clic y luego busca su URL en una tabla. En tráfico posterior, su modelo 4B colocó el objetivo en primer lugar en el 59,6% de los clics de navegación, frente al 46,5% de un sistema basado en similitud y ajustado según los recuentos de clics. Fue una prueba fuera de línea, no un experimento de búsqueda en vivo.
La investigación
Cuando alguien busca una página concreta con palabras que no aparecieron en búsquedas anteriores, una tabla de clics no puede responder directamente y un sistema basado en similitud puede colocar primero una página relacionada.
¿Puede un método de búsqueda aprender a qué destino se refiere la gente y limitar sus respuestas a páginas existentes?
Octen-WebGR entrena un modelo de lenguaje para generar identificadores de páginas a partir de clics y luego buscarlos para ordenar URL existentes en búsquedas de navegación.
Octen-WebGR aprende a generar un identificador único para la página asociada con una consulta y luego lo relaciona con una URL existente. Los autores evalúan si coloca primero el objetivo con más clics en el tráfico de septiembre, posterior a los datos de entrenamiento, que llegan hasta agosto.
El modelo 4B colocó el objetivo en primer lugar en el 59,6% de los clics de navegación, frente al 46,5% de la recuperación densa ajustada según los recuentos de clics de entrenamiento.
Esto respalda el método en esa comparación fuera de línea y ponderada por clics; los resultados varían según la cantidad de ejemplos de entrenamiento de la página objetivo.
Estos son resultados fuera de línea, obtenidos con las muestras de tráfico y los datos de entrenamiento del artículo.
La comparación de escalado con condiciones equiparadas abarca 8 millones y 32 millones de URL, y la prueba de distribución de ejemplos incluye páginas con al menos 16 pares de entrenamiento; ninguna de las dos descarta límites de capacidad a escalas mayores.
Qué muestran las pruebas
- La página buscada debe quedar primera
La búsqueda de navegación tiene un objetivo concreto: colocar primero la página buscada. Una tabla de clics puede devolver una página para una consulta que ya conoce, pero no tiene una entrada para una consulta nueva.
La recuperación densa puede manejar nuevas formas de preguntar comparando representaciones de la consulta y de las páginas, aunque una página parecida podría quedar por encima de la buscada. El artículo pregunta si un modelo de lenguaje puede aprender de los clics la relación entre las consultas y las páginas de destino.
- Generar un identificador de página
Octen-WebGR es un método de recuperación generativa: entrena un modelo de lenguaje para producir un par único de códigos para la página asociada con una consulta. Una tabla relaciona cada par válido con una URL, y la decodificación restringida limita las respuestas a los identificadores incluidos en esa tabla.
El modelo 4B publicado abarca unos 201 millones de URL. La evaluación comprueba si los sistemas colocan primero la página con más clics, usando tráfico de septiembre posterior a los datos de entrenamiento del modelo.
- Comparar con tráfico posterior
En ese tráfico posterior, el modelo 4B colocó el objetivo en primer lugar en el 59,6% de los clics de navegación, frente al 46,5% de la recuperación densa reordenada mediante los recuentos de clics de entrenamiento. La comparación usa el mismo tráfico, el mismo conjunto de URL y una medida ponderada por clics.
El resultado muestra un mejor ordenamiento fuera de línea frente a esta referencia, pero el objetivo se define a partir de los clics y el experimento no prueba un servicio de búsqueda en vivo.
- La ventaja tiene límites
La ventaja depende de cuánto material de entrenamiento tenga una página. En consultas nuevas sobre páginas conocidas, con al menos 11 pares de entrenamiento, Octen-WebGR superó a la recuperación densa con su ajuste por recuento de clics.
En páginas con pocos datos, de 1 a 10 pares, la recuperación densa sin el ajuste colocó los objetivos en primer lugar con mayor frecuencia. Los análisis de entrenamiento por separado relacionan la retención con el momento en que aparecen los ejemplos y con la tasa de aprendizaje en el momento de la exposición. En otra prueba con páginas que tenían al menos 16 pares de entrenamiento, distribuir los ejemplos entre distintas consultas mejoró Hit@1 en consultas reservadas, frente a repetir dos consultas. Esto respalda una mejor generalización a consultas reservadas en ese grupo evaluado, no una conclusión sobre la retención.
Detalles
- Autores del paper original
- Guangwei Xu, Wenkai Zhang, Yawen Liu, Dongxu Zhang, Xijie Xu
- Enviado a arXiv
- Licencia
- arXiv non-exclusive