IT
Un metodo di ranking separa il coinvolgimento dal suo valore di riferimento
Baseline and Incremental: User, Item, and Request Debiasing in Instagram Feed Ranking · arXiv:2610.27423
In parole semplici
Un punteggio di ranking del Feed combina previsioni su azioni come mettere «mi piace» e sul tempo trascorso. Il paper presenta un metodo che conserva ciascuna previsione e aggiunge una stima con peso separato di quanto un candidato superi un valore di riferimento relativo all’utente, al contenuto o alla richiesta.
Nei test dal vivo di sei termini del Feed, in 11 dei 13 confronti valutati il punteggio combinato ha avuto stime puntuali superiori a quelle di ciascun termine singolo. Questo sostiene l’uso di entrambi con i pesi testati, anche se un confronto sulle impression è andato a sfavore del punteggio combinato.
La ricerca
Quando un punteggio del Feed prevede i «mi piace», quanto dipende da un post specifico e quanto dal fatto che un utente metta abitualmente «mi piace»?
Se un punteggio mescola le due componenti, il ranking dovrebbe rimuovere il valore di riferimento dell’utente oppure conservarlo come segnale separato, così da poterne regolare l’influenza?
Il paper aggiunge una stima, con peso separato, del contributo di un candidato rispetto a un valore di riferimento, conservando la previsione originale sul coinvolgimento.
Il paper chiede come un punteggio di ranking del Feed debba gestire una previsione sul coinvolgimento che riflette sia un candidato sia un valore di riferimento, come il comportamento abituale di un utente. Il metodo conserva la previsione grezza e aggiunge una stima, con peso separato, di quanto il candidato superi un valore di riferimento relativo all’utente, al contenuto o alla richiesta.
In test dal vivo a quattro gruppi su sei termini del Feed impiegati in produzione, il punteggio combinato ha avuto stime puntuali superiori a quelle di ciascun termine singolo in 11 delle 13 coppie valutate di termini e metriche; 17 dei 26 confronti diretti hanno favorito entrambi i termini in modo statisticamente significativo, mentre uno è andato significativamente nella direzione opposta.
Poiché i confronti hanno testato ciascun termine con i pesi di produzione, i risultati sostengono la conclusione che, nel punto operativo testato, nessuno dei due fosse generalmente ridondante.
I sei termini testati costituiscono una serie di casi, non un campione rappresentativo; lo studio non dimostra un legame generale tra la diagnosi offline e i risultati online.
L’ablazione verifica i pesi usati in produzione, ma non mostra se un modello a termine singolo, dopo una nuova regolazione, potrebbe eguagliare il punteggio combinato.
Cosa mostrano le prove
- Un punteggio combina due segnali
Il paper presenta un metodo di scoring per i value model di Instagram Feed, che combinano previsioni sul coinvolgimento per ordinare i candidati. Il problema di partenza è che una previsione può riflettere sia il contributo del candidato sia un valore di riferimento, per esempio la consueta frequenza con cui un utente mette «mi piace».
Nell’esempio del Feed, la correlazione di rango tra la previsione dei «mi piace» e quella frequenza a livello di utente era 0.69: il dato suggerisce che il punteggio rifletta più del contributo aggiunto da uno specifico candidato.
- Mantenere regolabili entrambe le componenti
Il metodo conserva la previsione grezza e assegna un peso separato a un incremental term: una stima di quanto il candidato superi un valore di riferimento relativo all’utente, al contenuto o alla richiesta. Questi valori rappresentano grandezze diverse.
Quelli relativi all’utente sono medie storiche; quelli relativi al contenuto possono essere tassi storici di popolarità o caratteristiche strutturali del tipo di contenuto multimediale, mentre quelli relativi alla richiesta derivano dall’insieme attuale dei candidati.
Una procedura di progettazione sceglie il valore di riferimento e la forma da usare, oltre a stabilire se intervenire sul punteggio o sull’etichetta usata per l’addestramento.
- Verificare i termini dal vivo
La diagnosi offline verifica se una previsione segue un valore di riferimento, ma gli autori la considerano un filtro per individuare i segnali da testare, non un modo per prevedere quali avranno successo. Hanno poi testato sei termini già impiegati in produzione con esperimenti randomizzati distinti sul Feed dal vivo.
Ogni esperimento confrontava nessun termine, il solo termine grezzo, il solo termine incrementale e entrambi, con i termini inclusi ai pesi di produzione. Il confronto diretto verifica se uno dei due termini sia ridondante nella configurazione usata.
- I risultati hanno un’eccezione
In 11 delle 13 coppie di termini e metriche selezionate in anticipo, l’uso di entrambi i termini ha prodotto stime puntuali superiori a quelle di ciascun termine singolo. Dei 26 confronti diretti, 17 hanno favorito in modo statisticamente significativo entrambi i termini e uno è andato significativamente nella direzione opposta.
Un’eccezione è stata il termine relativo agli elementi di MainRank, basato sul logaritmo del tempo trascorso: sulle impression, il gruppo con entrambi i termini ha avuto risultati inferiori al gruppo con il solo termine incrementale, anche se sul tempo trascorso nel Feed il gruppo combinato ha superato ciascun gruppo con un solo termine.
I risultati sostengono l’uso di pesi separati nelle configurazioni testate, con compromessi specifici per ciascuna metrica.
- La conclusione resta circoscritta
Le evidenze riguardano sei termini del Feed che gli autori trattano come una serie di casi; non permettono quindi di stabilire come la diagnosi predica i risultati online per altri termini. Inoltre, l’ablazione non chiarisce se un modello a termine singolo, dopo una nuova regolazione, potrebbe eguagliare quello combinato.
Il paper cita alcuni risultati sul lancio di Reels per mostrare la portata della distribuzione in produzione, ma non li rianalizza come parte dell’ablazione del Feed.
Dettagli
- Autori del paper originale
- Hsin-Chiang Chen, Hao Wang, Gedi Zhou, Mingze Gao, Abhishek Kumar
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive