Un modèle de langage apprend la recherche et la génération de réponses

Un même modèle de langage peut-il représenter une requête assez bien pour trouver des documents pertinents, tout en s’en servant pour générer une réponse ?

L’état final de la requête intervient dans les deux tâches, alors que la recherche demande une représentation comparable à l’échelle d’un corpus et que la génération de réponses demande des états capables de prédire les mots suivants.

ULME entraîne des lectures distinctes pour la recherche et la réponse dans un même modèle causal, en apprenant à un emplacement côté requête à correspondre à un résumé de la réponse.

Les auteurs ont testé si un même modèle pouvait trouver des documents pertinents et générer des réponses sans sacrifier l’une ou l’autre capacité.

ULME utilise un checkpoint unique pour les deux tâches, avec des emplacements appris qui séparent la représentation de la requête destinée à la recherche de la prédiction de la réponse, et un signal d’apprentissage qui relie la requête à la réponse.

Pour trois tailles de Qwen3, ULME a obtenu de meilleurs scores que LLM2VEC-GEN sur des tests généraux de représentation vectorielle du texte et de recherche axée sur le raisonnement.

Comparé à un ajustement fin consacré uniquement à la génération, issu du même modèle de base et utilisant les mêmes données de génération, il a généralement fait au moins aussi bien sur les tests de génération rapportés. Ces résultats étayent les performances conjointes dans le cadre de ces évaluations.

Ces résultats proviennent d’un seul checkpoint final par configuration ; les principaux tableaux présentent trois tailles de Qwen3.

Les auteurs signalent aussi une dégradation qualitative préliminaire de certains comportements en conversation, de mise en forme et de suivi des consignes, sans en mesurer l’ampleur.