ES
Un decodificador pequeño saca la búsqueda de recomendaciones del modelo completo
Separating Thinking from Spelling for Efficient Generative Recommendation · arXiv:2610.32980
En palabras sencillas
Los sistemas de recomendación usan las elecciones anteriores de una persona para sugerir qué podría interesarle después. Pero un modelo grande puede dedicar mucho tiempo a buscar una y otra vez entre los códigos posibles de los artículos.
Deco hace que el modelo grande resuma el historial una vez y luego encarga la búsqueda a un decodificador pequeño. En siete conjuntos de datos públicos, igualó o superó a la comparación que usaba el modelo completo en las métricas de precisión de las recomendaciones.
Esto muestra que el método funcionó en esas pruebas; no establece que dé los mismos resultados en cualquier contexto.
La investigación
Cuando un modelo de recomendación ya ha resumido el historial de una persona, ¿el modelo completo todavía tiene que repetir el trabajo de buscar entre los artículos candidatos?
El artículo mide ese costo restante y pregunta si un decodificador más pequeño puede generar candidatos conservando la calidad de las recomendaciones.
Deco hace que el modelo base resuma una vez el historial de una persona y luego deja que un decodificador pequeño genere candidatos para recomendar.
Deco hace que el modelo base lea una vez el historial de interacciones de una persona y forme un concepto compacto de posibles artículos siguientes. Un decodificador pequeño usa ese concepto para generar códigos candidatos.
Los autores compararon este diseño con FusedGR, que emplea el modelo base completo durante la generación de candidatos, en siete conjuntos de datos públicos con una división temporal global.
Deco igualó o superó a FusedGR en las métricas de precisión de las recomendaciones, promediadas entre los usuarios de prueba y tres semillas de entrenamiento. En pruebas de servicio en una sola GPU H100, atendió entre 3.2 y 7.3 veces más usuarios por segundo en esos conjuntos de datos, cumpliendo un objetivo de latencia p95 de 50 ms. En conjunto, estos resultados muestran que el traspaso al decodificador evaluado conservó la calidad y aumentó la capacidad de servicio bajo esa restricción.
La evidencia abarca siete conjuntos de datos públicos con una división temporal global. La comparación de servicio se realizó en una sola GPU H100, con un ancho de haz de 100 y un objetivo de latencia p95 de 50 ms. La comparación independiente leave-one-out se limitó a Beauty.
Qué muestran las pruebas
- Un costo de búsqueda pendiente
Deco, o decodificación a partir de conceptos, es un método generativo de recomendación. Aborda un costo que persiste después de que un modelo resume el historial de interacciones de una persona: el modelo completo quizá siga procesando repetidamente los pasos de generación de candidatos.
La investigación pregunta si un decodificador más pequeño puede hacerse cargo de esos pasos y conservar la calidad de las recomendaciones.
- Un traspaso compacto
El modelo base lee el historial una vez y produce un concepto compacto que representa posibles artículos siguientes. Un decodificador pequeño usa ese concepto y los códigos ya generados para producir identificadores semánticos candidatos; un árbol de prefijos restringe el código siguiente a opciones válidas. Así, el modelo base no repite la búsqueda para cada candidato.
- La búsqueda domina una prueba
Los autores midieron primero en qué se empleaba el tiempo de generación. En BPC-23, con un tamaño de lote de 128, la búsqueda en haz representó el 91% del tiempo de generación de FusedGR, incluso con una caché compartida del historial.
Esta medición identifica por qué acortar solo la entrada del historial no eliminó todo el trabajo en ese contexto.
- Resultados de calidad y servicio
En siete conjuntos de datos públicos con una división temporal global, Deco igualó o superó a FusedGR en las métricas de precisión de las recomendaciones que se informaron.
Los resultados principales promedian los usuarios de prueba y tres semillas de entrenamiento. En las pruebas de servicio realizadas en una sola GPU H100 con un ancho de haz de 100, Deco atendió entre 3.2 y 7.3 veces más usuarios por segundo en esos conjuntos de datos, cumpliendo un objetivo de latencia p95 de 50 ms.
- Una excepción con muchas repeticiones
El resumen compacto bastó en los conjuntos de datos evaluados con pocas repeticiones, Sports y BPC-23: dar al decodificador un acceso más completo al historial cambió poco las métricas de precisión y podía aumentar la latencia.
Yambda puso un límite a ese resultado. Un puntero a canciones anteriores elevó NDCG@10 de Deco de 0.079 a 0.171, en consonancia con la interpretación de los autores de que las repeticiones exactas requieren acceso a la identidad de los artículos.
Detalles
- Autores del paper original
- Danil Gusak, Anna Volodkevich, Ivan Oseledets, Evgeny Frolov
- Enviado a arXiv
- Licencia
- CC BY 4.0