Twice attribue aux agents de recherche le mérite de chaque tour

Quand un agent de recherche fondé sur un modèle de langage n’est récompensé que selon la justesse de sa réponse finale, quelle requête ou décision d’arrêter mérite le crédit ?

Cette question compte pour l’entraînement : attribuer la même récompense à tous les tours peut pénaliser une requête utile dans un épisode qui échoue et récompenser une requête inutile dans un épisode qui réussit par chance.

Twice estime la contribution de chaque décision de recherche en modifiant le tour correspondant dans un épisode par paire, tout en reprenant l’aléatoire ultérieur de l’épisode d’origine.

Pour chaque modèle, les chercheurs ont calculé la moyenne des scores de correspondance exacte sur sept tests de questions-réponses et trois graines d’entraînement. Twice a obtenu des scores supérieurs à ceux de GRPO : 5.3 points de plus pour Qwen2.5-3B et 4.5 de plus pour Qwen2.5-7B.

Les méthodes partageaient les données d’entraînement, le système de recherche, la récompense, la fonction de perte GRPO et le nombre de mises à jour.

Ces résultats étayent des scores moyens plus élevés dans la configuration testée, conformément à l’idée que la comparaison de tours par paires peut fournir un signal d’entraînement plus informatif.

Les résultats proviennent d’un entraînement avec des outils rejouables, de tâches de questions-réponses et de deux environnements textuels. Les modèles comptaient jusqu’à 14B paramètres et les agents effectuaient au plus huit recherches.

Les tâches de recherche plus longues n’ont pas été testées, et la description des méthodes pour la comparaison principale ne précise pas si les points de départ étaient identiques.