Codici stabili aiutano a preservare la qualità della ricerca

Quando un sistema di ricerca e-commerce aggiorna la mappa che associa ai prodotti le sequenze di codici generate dal modello, può continuare ad aggiungere prodotti senza compromettere i percorsi di retrieval appresi per quelli già presenti?

Lo studio misura come cambia il retrieval con la rimappatura e verifica se mantenere i vecchi codici aiuta.

Gli autori testano empiricamente gli aggiornamenti degli identificatori nel retrieval e-commerce e rilevano che mantenere i vecchi codici aiuta a proteggere la qualità della ricerca mentre si aggiungono nuovi prodotti.

Gli autori hanno usato log di ricerca e-commerce per verificare se cambiare gli identificatori dei prodotti esistenti danneggi il retrieval e se mantenerli aiuti quando arrivano nuovi prodotti.

Per ogni query, il sistema generava identificatori candidati e la mappa corrente li associava ai prodotti; HitRate contava le query in cui il prodotto cercato compariva tra i primi B candidati associati.

Quando entrambe le politiche di mappatura sono state avviate con warm-start dallo stesso modello e sugli stessi dati accumulati, mantenere gli identificatori esistenti ha prodotto un HitRate con beam size 1 più alto per i prodotti vecchi e nuovi rispetto alla rimappatura completa.

Con gli identificatori congelati, l’addestramento con warm-start ha anche aumentato HitRate@1000 per entrambi i gruppi rispetto all’assenza di nuovo addestramento. Nei cicli testati, i risultati supportano l’uso di identificatori stabili per i prodotti esistenti insieme all’addestramento per i nuovi prodotti.

Questi risultati provengono da valutazioni offline e da un test online in uno specifico contesto di e-commerce.

Gli autori hanno provato una semplice procedura di warm-start; segnalano che un metodo di apprendimento continuo più efficace potrebbe recuperare parte delle prestazioni dopo il cambio degli identificatori.