Un modello linguistico impara retrieval e generazione di risposte

Un solo modello linguistico può rappresentare una query abbastanza bene da trovare documenti pertinenti e usarla comunque per generare una risposta?

Lo stato finale della query contribuisce a entrambi i compiti, anche se il retrieval richiede una rappresentazione confrontabile in modo generale e la generazione di risposte richiede stati che aiutino a prevedere le parole successive.

ULME addestra letture separate per il retrieval e la risposta in un unico modello causale, collegandole con uno slot dal lato della query che impara a corrispondere a un riepilogo della risposta.

Gli autori hanno verificato se un solo modello potesse trovare documenti pertinenti e generare risposte senza sacrificare nessuna delle due capacità.

ULME usa un unico checkpoint per entrambi i compiti: gli slot appresi separano la rappresentazione della query usata per il retrieval dalla previsione della risposta, mentre un segnale di addestramento collega la query alla risposta.

Su tre dimensioni di Qwen3, ULME ha ottenuto punteggi più alti di LLM2VEC-GEN nei test generali sugli embedding del testo e in quelli di retrieval incentrati sul ragionamento. Nei test di generazione riportati è stato in genere almeno altrettanto efficace di un fine-tuning dedicato solo alla generazione, eseguito con lo stesso modello di base e gli stessi dati di generazione. I risultati sostengono prestazioni congiunte in queste valutazioni.

I risultati provengono da un checkpoint finale per configurazione; le tabelle principali mostrano tre dimensioni di Qwen3.

Gli autori segnalano inoltre un peggioramento qualitativo preliminare in alcuni comportamenti di chat, formattazione e rispetto delle istruzioni, ma non ne quantificano l'entità.