FR
Les modèles qui résolvent le mieux ne sont pas toujours les meilleurs auteurs de tâches
Environment Duels: A Microcosm of LLM Co-Evolution · arXiv:2610.30116
En termes simples
Environment Duels est un test où neuf modèles de langage écrivent des tâches interactives et essaient de résoudre celles des autres. Chaque tâche est accompagnée d’un conseil donné par son auteur.
Les chercheurs comparent la fréquence des réussites sans conseil, la difficulté des tâches de chaque auteur et la variation de réussite apportée par les conseils. Les modèles qui résolvaient le mieux les tâches n’étaient pas ceux qui les créaient le mieux.
Dans une comparaison distincte, un modèle a davantage progressé sur cinq tests après avoir été entraîné sur les tâches d’un auteur dont les conseils l’avaient davantage aidé. Ce résultat concerne le modèle apprenant et les auteurs évalués.
La recherche
Si les modèles apprennent à partir de tâches créées par d’autres modèles, la qualité de ces tâches peut influencer ce que les modèles suivants apprennent. L’article demande si les modèles qui résolvent bien les tâches savent aussi créer des défis et des conseils utiles pour les autres.
Environment Duels fait écrire des tâches interactives avec conseils à neuf modèles de langage, leur fait résoudre les tâches des autres et mesure séparément la résolution et la création.
L’article demande si les modèles peuvent créer des défis utiles à l’apprentissage d’autres modèles, en plus de résoudre eux-mêmes des tâches. Environment Duels teste ces deux rôles : neuf modèles écrivent des tâches interactives avec des conseils et résolvent celles des autres. La résolution et la création sont mesurées séparément.
Les meilleurs modèles pour résoudre sans conseil n’étaient pas les meilleurs auteurs. Dans une comparaison d’entraînement distincte, Qwen3.8-27B a davantage progressé sur cinq tests avec les environnements d’un auteur lorsque le gain lié aux conseils sur ces environnements était plus élevé avant l’entraînement.
Cette correspondance appuie l’idée que ce gain peut signaler l’utilité pour l’entraînement dans cette comparaison.
La comparaison d’entraînement porte sur un seul modèle apprenant, Qwen3.8-27B, entraîné sur des environnements créés par quatre auteurs et évalué sur cinq tests.
Elle suggère que le gain de réussite lié au conseil peut signaler l’utilité pour l’entraînement dans ce cadre, sans établir que ce lien vaut pour d’autres modèles apprenants ou d’autres auteurs.
Ce que montrent les preuves
- Qui crée les tâches ?
Environment Duels teste si les modèles de langage peuvent à la fois résoudre des tâches interactives et créer des tâches qui mettent les autres modèles au défi et les guident. Selon l’article, de futurs modèles pourraient apprendre à partir de tâches écrites par des modèles antérieurs ou concurrents ; l’utilité de ces tâches pourrait donc influencer leur apprentissage.
Les auteurs présentent l’offre de tâches comme un possible goulot d’étranglement, et non comme une pénurie mesurée par cette étude.
- Trois mesures distinctes
Chacun des neuf modèles écrit des tâches exécutables, avec un état caché, des observations textuelles, des actions, des récompenses et une limite d’actions. L’auteur ajoute un conseil destiné aux autres modèles.
Les chercheurs testent chaque modèle sur les mêmes tâches avec et sans conseil, puis publient des mesures distinctes : résolution sans conseil, difficulté des tâches sans conseil et variation de réussite liée aux conseils.
Ces mesures séparent les résultats du modèle qui résout la tâche de la qualité des tâches et des conseils de leur auteur.
- Résoudre ne signifie pas créer
Les classements montrent que bien résoudre ne garantit pas de bien créer. Claude-Opus-5 et GPT-5.6-Sol ont obtenu les meilleurs résultats en résolution sans conseil, tandis que DeepSeek-V4.1-Flash, Gemini-3.8-Flash et Qwen3.8-27B se sont classés parmi les meilleurs selon les mesures de création.
Comme la difficulté des tâches et le gain lié aux conseils sont moyennés sur les neuf modèles pour les tâches de chaque auteur, ces résultats comparent les auteurs selon l’effet de leurs tâches sur les autres modèles.
- Un indice des progrès d’entraînement
Les auteurs ont aussi demandé si une mesure du duel pouvait indiquer quelles tâches aident un modèle à apprendre. Ils ont entraîné des copies distinctes de Qwen3.8-27B sur les environnements de quatre auteurs, puis comparé chaque copie au modèle de départ sur cinq tests.
La copie entraînée sur les environnements de GPT-5.6-Sol avait à la fois un gain lié aux conseils plus élevé avant l’entraînement et une progression moyenne plus importante sur les cinq tests que la copie entraînée sur les environnements de DeepSeek-V4.1-Flash.
- Une conclusion limitée aux cas testés
Cette correspondance appuie l’idée que le gain lié aux conseils peut signaler l’utilité pour l’entraînement dans la comparaison étudiée. L’expérience d’apprentissage par renforcement n’a porté que sur un modèle apprenant, Qwen3.8-27B, et les environnements de quatre auteurs.
Elle n’établit donc pas que ce gain prédit les progrès d’autres modèles apprenants ou sur les environnements d’autres auteurs.
Détails
- Auteurs de l’article original
- Shibo Jin, Zhiqiu Xu, Yiling Zou, Shangyu Gong, Mayur Naik
- Soumis à arXiv
- Licence
- CC BY 4.0