FR
Un effort de raisonnement accru peut faire manquer des réussites moins coûteuses
What Effort Level Should I Choose? On the Economics of Reasoning Effort in LLM Agents · arXiv:2610.34491
En termes simples
On peut régler un modèle de langage pour qu’il consacre plus ou moins d’effort à une tâche. Cet article vérifie si un effort supérieur entraîne toujours plus de réussites, et ce qu’il coûte, sur huit modèles et quatre tests, dont certains font intervenir un agent qui utilise des outils en plusieurs étapes.
Un effort supérieur ne permet pas toujours de conserver les tâches réussies avec un effort moindre, et il augmente souvent les coûts. Une stratégie qui ne relance la tâche avec un effort élevé qu’après l’échec d’une vérification de réussite a maintenu ou amélioré les résultats dans les évaluations, mais n’a pas réduit les coûts pour tous les modèles et tous les tests.
La recherche
Quand un modèle de langage réussit une tâche, les utilisateurs ne peuvent pas savoir si le niveau d’effort choisi était nécessaire. Un effort supplémentaire peut augmenter la facture, mais choisir d’emblée un effort moindre risque de faire manquer une solution.
La question est de savoir si les résultats tâche par tâche permettent de déterminer quand le calcul supplémentaire aide, et si une autre manière de répartir l’effort peut réduire cette incertitude.
Les auteurs comparent les niveaux d’effort tâche par tâche et évaluent si une nouvelle tentative à effort élevé, déclenchée par l’échec d’une vérification, peut préserver la réussite à moindre coût.
Les auteurs comparent les niveaux d’effort pour chaque modèle et configuration de test, en notant les résultats des tâches et le coût total en jetons des exécutions d’agents.
Ils constatent qu’un effort accru peut faire manquer des tâches réussies avec moins d’effort et coûter davantage pour les tâches réussies à tous les niveaux.
Ils évaluent aussi une stratégie qui commence avec un faible effort et ne relance la tâche à un niveau élevé qu’après l’échec signalé par une vérification externe. Ce laddering a maintenu ou amélioré la réussite dans les évaluations, mais son avantage en matière de coût dépend du test et du modèle.
Dans l’évaluation principale, chaque tâche faisant appel à un agent a été exécutée une seule fois par niveau d’effort. Les inversions observées ne permettent donc pas d’établir qu’un effort plus élevé réduit la probabilité de réussite intrinsèque d’une tâche. Le laddering dépend aussi d’une vérification externe fiable et facture une nouvelle tentative.
Ce que montrent les preuves
- Ce que change l’effort
Cet article examine, tâche par tâche, comment l’effort de raisonnement influe sur la réussite, le coût d’exécution et le comportement des agents.
Les auteurs comparent les niveaux propres à chaque modèle sur quatre tests: deux reposent sur un seul appel au modèle, et deux font intervenir des agents qui agissent en plusieurs étapes. La question est de savoir si un effort supérieur conserve toujours les réussites obtenues avec moins d’effort et si les réussites supplémentaires justifient le coût.
- Les totaux masquent des inversions
Terminal-Bench 2.1 évalue des agents sur des tâches dans un terminal; les scores présentés ici indiquent le nombre de tâches résolues. Pour GPT-5.6-sol, passer du niveau high à xhigh fait perdre huit tâches et en gagner cinq, ce qui ramène le total de 76 à 73 sur 89.
Chacun des huit modèles réussit au moins une tâche à son niveau d’effort le plus faible, mais pas à son niveau le plus élevé. Chaque tâche n’a été exécutée qu’une fois par niveau: ces inversions observées ne montrent donc pas que la probabilité de réussite a baissé.
- Plus de dépenses sans réussite supplémentaire
Les auteurs comparent aussi les dépenses pour les tâches que chaque modèle a réussies à tous les niveaux d’effort. Dans le pilote original de SWE-Bench Pro, qui évalue des agents sur des tâches logicielles à l’échelle d’un dépôt de code, le coût moyen d’utilisation de l’API par tâche pour GPT-5.6-sol passe de 0,27 $ au niveau low à 1,24 $ au niveau xhigh.
Puisque seules les tâches réussies à tous les niveaux sont incluses, cette hausse indique une dépense supérieure sans réussite supplémentaire sur cet ensemble commun.
- L’environnement influe sur les scores
La comparaison entre les environnements original et corrigé de SWE-Bench Pro aide à interpréter les scores initiaux. L’environnement corrigé supprime l’historique des dépôts et limite l’accès au réseau.
Sur les mêmes 44 cas, le taux de résolution de GPT-5.6-sol au niveau xhigh passe de 77,3 % à 59,1 %. Les taux de résolution des huit modèles baissent à leur niveau d’effort le plus élevé.
Comme l’historique et l’accès au réseau ont tous deux changé, cette comparaison ne permet pas d’identifier l’un ou l’autre comme cause à lui seul.
- Les retours guident les nouvelles tentatives
Enfin, les auteurs évaluent le laddering: commencer avec un faible effort, puis ne relancer la tâche avec un effort élevé qu’après l’échec signalé par une vérification externe. Cette stratégie égale ou améliore la réussite par rapport à l’utilisation systématique du niveau maximal dans les modèles et tests évalués, mais ses économies varient.
Sur Terminal-Bench, qui évalue des agents accomplissant des tâches dans un terminal, le laddering améliore la part de tâches résolues pour les huit modèles. Les coûts baissent pour quatre modèles; les quatre autres réussissent davantage, mais dépensent plus. La méthode exige aussi un retour externe fiable et facture une nouvelle tentative.
Détails
- Auteurs de l’article original
- Kaiser Sun, Yongchan Kwon, Zain Hasan, Shang Zhu, Kaitlyn Zhou
- Soumis à arXiv
- Licence
- CC BY 4.0