Les scores individuels indiquent mal quels modèles aident l’équipe

Quand des modèles de langage travaillent ensemble, comment savoir lequel aide réellement le système ? Un test individuel mesure les réponses d’un modèle seul, alors que la question est de savoir s’il améliore la réponse collective lorsqu’il rejoint d’autres modèles.

L’apprentissage par renforcement compositionnel entraîne un modèle au sein d’une collaboration et récompense le résultat de l’équipe, afin d’orienter l’apprentissage vers sa contribution à la réponse collective.

L’article estime la contribution d’un modèle en comparant le score d’une équipe complète à celui qu’elle obtient après le retrait de ce modèle.

Il propose aussi l’apprentissage par renforcement compositionnel (C-RL), qui entraîne un modèle au sein de l’équipe en lui attribuant une récompense selon le résultat collectif.

Sur trois méthodes de collaboration et huit tâches, C-RL a amélioré le score par rapport au modèle non entraîné dans les 24 combinaisons et obtenu le meilleur score dans 21.

Ces résultats étayent l’intérêt d’entraîner un modèle sur la réponse collective : un entraînement récompensant sa réponse individuelle a parfois augmenté son score seul tout en réduisant celui de l’équipe.

Les comparaisons portent sur les modèles, partenaires, tâches et méthodes de collaboration présentés. La source ne permet pas d’établir que toutes les méthodes partaient du même état initial du modèle.

Les résultats obtenus avec des API propriétaires peuvent changer lorsque leurs fournisseurs mettent à jour les modèles.