Twice asigna crédito a cada turno de los agentes de búsqueda

Cuando un agente de búsqueda basado en un modelo de lenguaje solo recibe una recompensa por acertar su respuesta final, ¿qué consulta o decisión de detenerse merece el crédito?

Esto importa para el entrenamiento porque recompensar todos los turnos por igual puede penalizar una consulta útil en un episodio fallido y premiar una consulta desperdiciada en uno afortunado.

Twice estima el crédito de cada decisión de búsqueda cambiando ese turno en un episodio emparejado y reutilizando el ruido de muestreo posterior del episodio original.

Para cada modelo, los investigadores promediaron las puntuaciones de respuestas exactas entre siete pruebas de preguntas y respuestas y tres semillas de entrenamiento.

Twice obtuvo una puntuación mayor que GRPO: los promedios fueron 5.3 puntos más altos para Qwen2.5-3B y 4.5 puntos más altos para Qwen2.5-7B.

Los métodos compartieron datos de entrenamiento, recuperación, recompensa, función de pérdida GRPO y cantidad de actualizaciones.

Estos resultados respaldan promedios más altos en el entorno evaluado, de acuerdo con la idea de que comparar turnos emparejados puede ofrecer una señal más informativa para el entrenamiento.

Los resultados proceden de entrenamiento con herramientas reproducibles, tareas de preguntas y respuestas y dos entornos de texto; los modelos tenían hasta 14B parámetros y se permitían como máximo ocho llamadas de búsqueda.

No se evaluaron tareas de investigación más largas, y la descripción de métodos seleccionada para la comparación principal no indica si los puntos de partida eran iguales.