FR
Un petit décodeur prend en charge la recherche de recommandations
Separating Thinking from Spelling for Efficient Generative Recommendation · arXiv:2610.32980
En termes simples
Les systèmes de recommandation s’appuient sur les choix passés d’une personne pour suggérer ce qui pourrait lui plaire ensuite. Mais un grand modèle peut consacrer beaucoup de temps à chercher encore et encore parmi les codes des éléments possibles.
Deco demande au grand modèle de résumer l’historique une seule fois, puis confie la recherche à un petit décodeur. Sur sept jeux de données publics, Deco a égalé ou dépassé la comparaison avec le modèle complet selon les mesures de précision des recommandations.
L’approche a donc fonctionné dans ces essais, sans que cela établisse qu’elle donnera les mêmes résultats dans tous les contextes.
La recherche
Une fois que le modèle de recommandation a compressé l’historique d’une personne, doit-il encore effectuer lui-même tout le travail répété de recherche parmi les éléments candidats ?
L’article mesure ce coût résiduel et examine si un décodeur plus petit peut générer les candidats tout en préservant la qualité des recommandations.
Deco fait résumer l’historique d’une personne une fois par le modèle principal, puis confie à un petit décodeur la génération des candidats de recommandation.
Deco fait lire une fois au modèle principal l’historique des interactions d’une personne, puis lui fait former un concept compact des éléments susceptibles de suivre. Un petit décodeur utilise ce concept pour générer des codes candidats.
Les auteurs ont comparé cette conception à FusedGR, qui utilise le modèle principal complet pour générer les candidats, sur sept jeux de données publics avec une séparation temporelle globale.
Deco a égalé ou dépassé FusedGR selon les mesures de qualité des recommandations, moyennées sur les personnes du jeu de test et trois graines d’entraînement.
Lors des essais de service sur un GPU H100, il a pris en charge de 3,2 à 7,3 fois plus de personnes par seconde sur ces jeux de données, tout en respectant un objectif de latence au 95e percentile de 50 ms. Ensemble, ces résultats montrent que le transfert testé vers un décodeur a préservé la qualité tout en augmentant la capacité de service sous cette contrainte.
Les résultats portent sur sept jeux de données publics avec une séparation temporelle globale.
La comparaison en service a été menée sur un seul GPU H100, avec une largeur de faisceau de 100 et un objectif de latence au 95e percentile de 50 ms. La comparaison distincte par exclusion d’un élément à la fois se limite à Beauty.
Ce que montrent les preuves
- Un coût de recherche qui subsiste
Deco, ou « décodage à partir de concepts », est une méthode de recommandation générative. Elle s’attaque à un coût qui subsiste même après la compression de l’historique des interactions d’une personne : le modèle complet peut devoir traiter à répétition les étapes de génération des candidats.
La recherche demande si un décodeur plus petit peut prendre en charge ces étapes tout en préservant la qualité des recommandations.
- Un transfert vers un résumé compact
Le modèle principal lit l’historique une fois et produit un concept compact représentant les éléments susceptibles de suivre. Un petit décodeur utilise ce concept et les codes déjà générés pour produire des identifiants sémantiques candidats ; un arbre de préfixes limite le code suivant aux choix valides. Le modèle principal n’a donc pas à répéter la recherche pour chaque candidat.
- La recherche domine dans un essai
Les auteurs ont d’abord mesuré où se concentrait le temps de génération. Sur BPC-23, avec une taille de lot de 128, la recherche par faisceau représentait 91 % du temps de génération de FusedGR, même avec un cache partagé pour l’historique.
Cette mesure montre pourquoi raccourcir l’entrée historique ne suffisait pas à supprimer le travail dans ce contexte précis.
- Qualité et capacité de service
Sur sept jeux de données publics, avec une séparation temporelle globale, Deco a égalé ou dépassé FusedGR selon les mesures de qualité des recommandations rapportées.
Les principaux résultats sont des moyennes calculées sur les personnes du jeu de test et trois graines d’entraînement. Pour le service, sur un GPU H100 avec une largeur de faisceau de 100, Deco a pris en charge de 3,2 à 7,3 fois plus de personnes par seconde sur ces jeux de données, tout en respectant un objectif de latence au 95e percentile de 50 ms.
- Une exception lorsque les répétitions dominent
Le résumé compact a suffi sur les jeux de données Sports et BPC-23, où les répétitions sont peu fréquentes : donner au décodeur davantage d’informations historiques a peu modifié les mesures de précision et pouvait accroître la latence.
Yambda nuance ce résultat. Un pointeur vers les morceaux passés a fait passer le NDCG@10 de Deco de 0,079 à 0,171, ce qui concorde avec l’interprétation des auteurs selon laquelle les répétitions exactes nécessitent l’accès à l’identité des éléments.
Détails
- Auteurs de l’article original
- Danil Gusak, Anna Volodkevich, Ivan Oseledets, Evgeny Frolov
- Soumis à arXiv
- Licence
- CC BY 4.0