FR
Un modèle pour trois types de recherche d’achat
PailitaoMMSearch2.0 Technical Report: Scaling Generative Retrieval to Unified End-to-End Multimodal Search · arXiv:2610.36958
En termes simples
Un système de recherche pour les achats peut devoir trouver un produit semblable à une image, modifier certaines de ses caractéristiques ou trouver un produit qui va avec. Cet article présente un modèle unique qui analyse l’image et la demande écrite, détermine le type de recherche souhaité et génère des identifiants de produits.
Dans les tests hors ligne portant sur ces trois types de recherche, l’entraînement qui utilise une recherche par faisceau pour générer des produits candidats a augmenté de 5,97 points de pourcentage la part des 10 premiers résultats ayant reçu la meilleure note de l’évaluateur, par rapport à l’entraînement supervisé. Ce résultat vaut pour ce test, pas pour toutes les recherches d’achat.
La recherche
Une image accompagnée d’une courte instruction peut exprimer plusieurs objectifs d’achat : trouver un article similaire, modifier ses caractéristiques ou trouver un article qui va avec.
Un seul système de recherche peut-il déduire la relation voulue et couvrir les trois cas sans étiquette d’intention explicite ni parcours distinct ?
PailitaoMMSearch2.0 entraîne un modèle de recherche unique sur trois relations d’achat et génère directement des identifiants de produits à partir d’une image et d’une instruction.
Pour la comparaison hors ligne, les chercheurs ont entraîné l’apprentissage par renforcement Sample–Beam et l’entraînement supervisé à partir de la même initialisation, avec le même mélange d’intentions et la même évaluation de la récompense.
Un évaluateur calibré par des humains a noté les 10 premiers produits de chaque requête, puis les chercheurs ont calculé la moyenne de l’Excellent Rate pour les recherches de produits similaires, modifiés ou assortis.
Sample–Beam a augmenté ce taux de 5,97 points de pourcentage par rapport à l’entraînement supervisé. Comme les conditions de comparaison étaient identiques, le résultat étaye l’existence d’un gain associé à la procédure d’apprentissage par renforcement dans cette évaluation.
Les résultats hors ligne portent sur trois relations de recherche dans un seul domaine du commerce en ligne, et l’évaluateur automatique peut partager certaines erreurs avec d’autres évaluateurs utilisés par le système.
Le test en production mesure la configuration déployée dans son ensemble : il ne permet donc pas de déterminer quel composant a entraîné les changements commerciaux.
Ce que montrent les preuves
- Une requête, plusieurs relations
PailitaoMMSearch2.0 est un système multimodal de recherche pour les requêtes d’achat qui associent une image à une instruction en texte libre. La demande peut porter sur un produit similaire, une version modifiée ou un article assorti.
Le système déduit la relation recherchée et génère des identifiants de produits à partir de la requête, sans étiquette explicite indiquant l’intention ni parcours de traitement distinct pour chaque relation.
- Comment le système est entraîné
Le système entraîne un seul modèle sur les relations de recherche similaire, de modification et d’association. Le préentraînement continu l’adapte aux produits du commerce en ligne et à leurs identifiants ; l’entraînement supervisé combine ensuite les relations et différents budgets de raisonnement ; enfin, l’apprentissage par renforcement les optimise ensemble.
Au moment de la recherche, le modèle reçoit l’image et l’instruction, puis génère des identifiants pour les produits candidats.
- Ce que mesure le score hors ligne
Le test hors ligne mesure la qualité des 10 premiers résultats du système pour chaque requête. Un évaluateur calibré par des humains attribue une note de 0 à 3 ; l’Excellent Rate est la proportion de résultats ayant obtenu la note 3.
Les chercheurs calculent ce taux pour chaque relation, puis font la moyenne des trois : le résultat global accorde ainsi le même poids à chacune.
- Deux comparaisons d’entraînement
À initialisation, mélange d’intentions et évaluation de la récompense identiques, l’apprentissage par renforcement Sample–Beam a augmenté l’Excellent Rate moyen de 5,97 points de pourcentage par rapport à l’entraînement supervisé.
Le remplacement des séquences standard d’apprentissage par renforcement par des séquences Sample–Beam a ajouté 2,30 points. Cette comparaison étaye l’existence d’un gain supplémentaire associé à la modification de la procédure de génération des séquences, même si son effet variait selon les relations.
- Résultats en production
Lors d’un test A/B en ligne dans l’application de recherche multimodale Taobao Pailitao, le système déployé a augmenté de 8,94 % la valeur brute des marchandises par rapport à la référence de production.
Ce résultat porte sur la configuration déployée dans son ensemble : il indique un changement à l’échelle du système dans cette application, sans déterminer quel composant de l’entraînement l’a produit.
Détails
- Auteurs de l’article original
- Xiaohan Ye, Zihan Gong, Jingqian Zhao, Lianyu Du, Yunmeng Shu
- Soumis à arXiv
- Licence
- CC BY 4.0