IT
Un modello per tre tipi di ricerca per gli acquisti
PailitaoMMSearch2.0 Technical Report: Scaling Generative Retrieval to Unified End-to-End Multimodal Search · arXiv:2610.36958
In parole semplici
Un sistema di ricerca per gli acquisti può dover trovare un prodotto simile a quello in una foto, modificarne alcune caratteristiche oppure trovare un prodotto da abbinare. Questo articolo presenta un solo modello che legge l’immagine e una richiesta scritta, deduce quale tipo di ricerca serve e genera identificatori di prodotto.
Nei test offline sulle tre relazioni, l’addestramento che usava la beam search per generare prodotti candidati ha aumentato di 5,97 punti percentuali la quota dei primi 10 risultati che ricevevano il punteggio più alto dal valutatore, rispetto all’addestramento supervisionato. Il risultato riguarda questo test, non tutte le ricerche per gli acquisti.
La ricerca
Un’immagine e una breve istruzione possono descrivere obiettivi di acquisto diversi: trovare un articolo simile, modificarne gli attributi o trovare qualcosa da abbinare.
Un solo sistema di retrieval può dedurre quale relazione intende l’acquirente e cercare in tutte e tre senza un’etichetta esplicita dell’intento o un percorso separato?
PailitaoMMSearch2.0 addestra un solo modello di retrieval su tre relazioni di ricerca per gli acquisti e genera ID di prodotto a partire direttamente da un’immagine e un’istruzione.
Per il confronto offline, i ricercatori hanno addestrato il reinforcement learning Sample–Beam e l’addestramento supervisionato partendo dalla stessa inizializzazione, con la stessa miscela di intenti e la stessa valutazione delle ricompense.
Un valutatore calibrato da esseri umani ha assegnato un punteggio ai primi 10 prodotti di ogni query; i ricercatori hanno poi calcolato la media macro dell’Excellent Rate sulle ricerche per similarità, modifica e abbinamento.
Sample–Beam ha aumentato quel tasso di 5,97 punti percentuali rispetto all’addestramento supervisionato. Poiché le condizioni del confronto erano uguali, il risultato supporta un guadagno dovuto alla procedura di addestramento con reinforcement learning in questa valutazione.
Le evidenze offline riguardano tre relazioni di ricerca in un unico dominio e-commerce; il valutatore automatico potrebbe condividere errori con altri valutatori usati nel sistema.
Il test online misura la configurazione completa messa in produzione, quindi non permette di stabilire quale componente abbia causato i cambiamenti nelle metriche aziendali.
Cosa mostrano le prove
- Una query, più relazioni
PailitaoMMSearch2.0 è un sistema multimodale di retrieval per query di acquisto che combinano un’immagine con un’istruzione in linguaggio libero. La richiesta può cercare un prodotto simile, una versione modificata o un articolo da abbinare.
Il sistema genera identificatori di prodotto a partire dalla query e deduce quale relazione si intende, senza un’etichetta esplicita dell’intento né un percorso di serving separato per ciascuna relazione.
- Come viene addestrato il sistema
Il sistema addestra un solo modello sulle relazioni di ricerca per similarità, modifica e abbinamento. Il pre-addestramento continuo lo adatta ai prodotti e agli identificatori dell’e-commerce; l’addestramento supervisionato combina poi le relazioni e i budget di ragionamento; il reinforcement learning le ottimizza insieme.
Durante il serving, il modello riceve l’immagine e l’istruzione e genera identificatori per i prodotti candidati.
- Che cosa misura il punteggio offline
Il test offline misura la qualità dei primi 10 risultati del sistema per ciascuna query. Un valutatore calibrato da esseri umani assegna ai risultati un punteggio da 0 a 3; l’Excellent Rate è la quota che riceve 3.
I ricercatori calcolano il tasso separatamente per ogni relazione e fanno la media macro delle tre, dando così lo stesso peso a ciascuna relazione nel risultato complessivo.
- Due confronti tra metodi di addestramento
Mantenendo uguali inizializzazione, miscela di intenti e valutazione delle ricompense, il reinforcement learning Sample–Beam ha aumentato l’Excellent Rate macro di 5,97 punti percentuali rispetto all’addestramento supervisionato.
Sostituire i rollout standard del reinforcement learning con rollout Sample–Beam ha aggiunto 2,30 punti. Il confronto supporta un ulteriore guadagno associato alla modifica della procedura di rollout, anche se l’effetto incrementale variava tra le relazioni.
- Evidenze dalla produzione
In un test A/B online nell’applicazione Multimodal Search di Taobao Pailitao, il sistema messo in produzione ha aumentato dell’8,94% il valore lordo della merce venduta rispetto al sistema di riferimento.
Il risultato riguarda la configurazione completa messa in servizio: mostra un cambiamento a livello del sistema in quell’applicazione, ma non identifica quale componente dell’addestramento l’abbia prodotto.
Dettagli
- Autori del paper originale
- Xiaohan Ye, Zihan Gong, Jingqian Zhao, Lianyu Du, Yunmeng Shu
- Inviato ad arXiv
- Licenza
- CC BY 4.0