Twice attribuisce agli agenti di ricerca il merito dei singoli turni

Quando un agente di ricerca basato su un modello linguistico riceve una ricompensa solo in base alla correttezza della risposta finale, quale ricerca o decisione di fermarsi merita credito?

La risposta conta per l’addestramento: premiare tutti i turni allo stesso modo può penalizzare una ricerca utile in un episodio fallito e premiarne una sprecata in un episodio fortunato.

Twice stima il merito di ogni decisione di ricerca modificando quel turno in un episodio accoppiato e riutilizzando la casualità di campionamento successiva dell’episodio originale.

Per ciascun modello, i ricercatori hanno calcolato la media dei punteggi per le risposte esatte su sette test di domanda e risposta e tre seed di addestramento. Twice ha ottenuto punteggi superiori a GRPO, con medie più alte di 5.3 punti per Qwen2.5-3B e di 4.5 per Qwen2.5-7B.

I metodi condividevano i dati di addestramento, il retrieval, la ricompensa, la loss di GRPO e il numero di aggiornamenti.

Questi risultati sostengono punteggi medi più alti nella configurazione testata, in linea con l’idea che confrontare turni accoppiati possa fornire all’addestramento un segnale più informativo.

I risultati provengono da addestramento con strumenti riproducibili, da attività di domanda e risposta e da due ambienti testuali. Sono stati testati modelli fino a 14B parametri e al massimo otto chiamate di ricerca.

Le attività di ricerca più lunghe non sono state valutate e il confronto principale non specifica se i checkpoint iniziali fossero gli stessi.