FR
Les études évaluent plus les systèmes finaux que leur boucle d’auto-amélioration
Auditing the Product, Not the Recursion: The Evaluation Evidence Behind Recursive Self-Improvement Claims · arXiv:2610.27610
En termes simples
Cet article étudie comment les chercheurs vérifient les systèmes d’IA qui tentent de s’améliorer eux-mêmes. Les auteurs ont lu des études publiées et noté si chacune évaluait le système final, vérifiait le processus d’amélioration ou comparait différentes méthodes d’amélioration.
Parmi les 90 études qui qualifiaient leur système ou leur boucle d’amélioration récursive de soi, les tests du système final étaient plus fréquents que les vérifications répétées de tout le processus. L’article mesure ce que les études rapportent ; il ne montre pas si ces systèmes ont réussi ou échoué.
La recherche
Un meilleur score final peut étayer l’affirmation qu’un système s’est amélioré, mais il ne montre pas si les gains s’accumulent au fil des cycles, se répètent quand la boucle est relancée ou proviennent d’une meilleure méthode d’amélioration.
À quelle fréquence les études publiées rapportent-elles des dispositifs capables de répondre à ces différentes questions sur le processus ?
Les auteurs ont codé des études publiées sur la RSI pour comparer les données sur les performances finales des systèmes aux tests vérifiant si les boucles d’amélioration se répètent ou progressent.
Les auteurs ont recherché sur arXiv des publications mentionnant l’amélioration récursive de soi ou des expressions proches, puis ont codé 114 études admissibles, dont 90 qui qualifiaient leur propre système ou boucle de RSI. Leur guide de codage reliait les affirmations de chaque étude aux dispositifs d’évaluation rapportés.
Parmi ces 90 études, 54 rapportaient une évaluation sur des tâches qui n’avaient pas servi à choisir les changements, tandis que 20 rapportaient au moins deux réexécutions vérifiées de la boucle complète.
Ce contraste montre que les données sur les systèmes finaux étaient plus souvent rapportées que celles sur la répétabilité.
Ces taux décrivent les dispositifs rapportés dans un corpus arXiv constitué à partir de recherches par expressions et arrêté au 17 octobre 2026 ; ils ne couvrent pas toute la recherche sur l’auto-amélioration.
L’étude mesure ce que les articles rapportent ; elle ne montre pas que les boucles actuelles échouent à s’améliorer.
Ce que montrent les preuves
- Ce que les données peuvent montrer
Cet article est une étude de méta-recherche sur l’amélioration récursive de soi (RSI) : des systèmes qui s’appuient sur leurs propres résultats, évaluations ou expériences pour proposer et conserver des changements. Il examine si les études publiées rapportent des éléments adaptés aux différentes affirmations.
Un meilleur score final peut étayer une affirmation sur le système terminé, mais ne suffit pas à montrer que les gains s’accumulent au fil des cycles, se répètent lors de nouvelles exécutions ou proviennent d’une meilleure méthode d’amélioration.
- Comment les articles ont été comptés
Les auteurs ont recherché sur arXiv les publications mentionnant RSI ou des variantes proches, puis ont codé les affirmations des études admissibles et les dispositifs d’évaluation qu’elles rapportaient. La recherche a donné 114 études admissibles, dont 90 qui qualifiaient leur propre boucle ou système de RSI.
Le guide de codage consignait si les tâches d’évaluation n’avaient pas servi à choisir les changements, les versions retenues ou les réglages d’ajustement, et si les études vérifiaient les cycles, réexécutaient la boucle complète ou comparaient des méthodes d’amélioration.
- Tests finaux et répétabilité
Parmi les 90 études sur la RSI, 81 rapportaient une évaluation allant au-delà des tâches de développement selon un critère large qui incluait une séparation partielle ou non précisée, tandis que 54 rapportaient une évaluation sur des tâches qui n’avaient pas servi à la sélection.
Seules 20 rapportaient au moins deux réexécutions vérifiées de la boucle complète. Ces nombres décrivent les dispositifs rapportés : ils indiquent que les études mentionnaient plus souvent des éléments sur les systèmes finaux que des données sur la répétabilité, mais ne montrent pas que les systèmes se sont nécessairement améliorés.
- Quelles comparaisons isolent l’effet de la méthode
Parmi les 26 études affirmant que leur méthode d’amélioration était meilleure, 23 rapportaient une comparaison connexe, mais seulement quatre comparaient des méthodes plus anciennes et plus récentes à partir d’artefacts de départ identiques et avec le même budget.
Comparer les méthodes à partir du même point de départ aide à distinguer l’effet de la méthode des différences entre les systèmes auxquels elle s’applique. Le décompte plus strict indique donc quelles comparaisons peuvent éclairer l’affirmation sur la méthode d’amélioration, et non si ces méthodes ont réussi.
- Vérifications de la tendance observée
Un échantillon codé par des humains, constitué de 22 études sur la RSI, présentait la même tendance : 45 % rapportaient une évaluation sur des tâches qui n’avaient pas servi à la sélection et 14 % rapportaient au moins deux réexécutions vérifiées.
Un autre ensemble de 20 travaux de référence sélectionnés montrait également davantage d’évaluations des systèmes finaux que de vérifications des processus. Ces contrôles étayent le contraste observé, mais la taille et la composition des échantillons limitent la portée de cette conclusion.
Détails
- Auteurs de l’article original
- Zihan Chen, Di Zhu, Lei Nico Zheng
- Soumis à arXiv
- Licence
- arXiv non-exclusive