ES
Un modelo para tres tipos de búsqueda de productos
PailitaoMMSearch2.0 Technical Report: Scaling Generative Retrieval to Unified End-to-End Multimodal Search · arXiv:2610.36958
En palabras sencillas
Un buscador de productos puede tener que encontrar algo parecido a una imagen, cambiar algunas de sus características o localizar un producto que combine con ella. Este artículo presenta un modelo que analiza la imagen y una petición escrita, infiere qué tipo de búsqueda se necesita y genera identificadores de productos.
En pruebas fuera de línea de esos tres tipos de búsqueda, el entrenamiento que usó búsqueda por haces para generar productos candidatos aumentó en 5.97 puntos porcentuales la proporción de resultados entre los 10 primeros que recibió la máxima puntuación del evaluador, frente al entrenamiento supervisado. El resultado se limita a esta prueba; no demuestra que ocurra en todas las búsquedas de productos.
La investigación
Una imagen y una instrucción breve pueden describir distintos objetivos de compra: encontrar un artículo similar, cambiar sus características o localizar algo que combine con él. ¿Puede un solo sistema de recuperación inferir qué relación busca la persona y buscar en las tres sin una etiqueta explícita de intención ni una ruta independiente?
PailitaoMMSearch2.0 entrena un solo modelo de recuperación para tres relaciones de búsqueda y genera identificadores de productos directamente a partir de una imagen y una instrucción.
Para la comparación fuera de línea, los investigadores entrenaron el aprendizaje por refuerzo Sample–Beam y el entrenamiento supervisado con la misma inicialización, la misma mezcla de intenciones y la misma evaluación de recompensas.
Un evaluador calibrado con intervención humana puntuó los 10 primeros productos de cada consulta, y los investigadores promediaron la Tasa de Excelencia, dando el mismo peso a las búsquedas de productos similares, edición y coincidencia.
Sample–Beam elevó esa tasa en 5.97 puntos porcentuales frente al entrenamiento supervisado. Como la comparación mantuvo iguales esas condiciones, respalda una mejora asociada al procedimiento de entrenamiento con aprendizaje por refuerzo en esta evaluación.
La evidencia fuera de línea abarca tres relaciones de búsqueda en un único dominio de comercio electrónico, y el evaluador automático puede compartir errores con otros evaluadores del sistema.
La prueba en línea mide la configuración completa desplegada, por lo que no permite determinar qué componente causó los cambios comerciales.
Qué muestran las pruebas
- Una consulta, varias relaciones
PailitaoMMSearch2.0 es un sistema multimodal de recuperación para consultas de compra que combinan una imagen con una instrucción de texto libre.
La petición puede buscar un producto similar, una versión modificada o un artículo que combine con el de la imagen. El sistema genera identificadores de productos a partir de la consulta e infiere qué relación se busca, sin una etiqueta explícita de intención ni una ruta de servicio independiente para cada relación.
- Cómo se entrena el sistema
El sistema entrena un único modelo con las relaciones de productos similares, edición y coincidencia. El preentrenamiento continuo lo adapta a los productos y los identificadores del comercio electrónico; después, el entrenamiento supervisado combina las relaciones y los presupuestos de razonamiento; por último, el aprendizaje por refuerzo unificado los optimiza en conjunto.
Durante el servicio, el modelo recibe la imagen y la instrucción, y genera identificadores de productos candidatos.
- Qué mide la puntuación fuera de línea
La prueba fuera de línea mide la calidad de los 10 primeros resultados del sistema para cada consulta. Un evaluador calibrado con intervención humana puntúa los resultados de 0 a 3; la Tasa de Excelencia es la proporción que recibe un 3.
Los investigadores calculan la tasa por separado para cada relación y luego promedian las tres dando el mismo peso a cada una, de modo que el resultado general asigna igual importancia a todas las relaciones.
- Dos comparaciones de entrenamiento
Con la inicialización, la mezcla de intenciones y la evaluación de recompensas igualadas, el aprendizaje por refuerzo Sample–Beam elevó la Tasa de Excelencia macro en 5.97 puntos porcentuales frente al entrenamiento supervisado.
Sustituir las iteraciones estándar del aprendizaje por refuerzo por iteraciones Sample–Beam añadió 2.30 puntos. Esta comparación respalda una mejora adicional asociada al cambio en el procedimiento de iteración, aunque su efecto incremental varió entre relaciones.
- Evidencia en producción
En una prueba A/B en línea en la aplicación de búsqueda multimodal Taobao Pailitao, el sistema desplegado aumentó en un 8.94% el valor bruto de mercancía frente al sistema de referencia de producción. El resultado corresponde a la configuración completa desplegada: muestra un cambio a nivel del sistema en esa aplicación, pero no identifica qué componente del entrenamiento lo produjo.
Detalles
- Autores del paper original
- Xiaohan Ye, Zihan Gong, Jingqian Zhao, Lianyu Du, Yunmeng Shu
- Enviado a arXiv
- Licencia
- CC BY 4.0