Un benchmark de livraison client révèle les difficultés des agents à construire des systèmes efficaces

Quand la demande d’un client risque de décrire le mauvais problème, un agent d’IA peut-il découvrir les contraintes importantes et livrer un système qui améliore l’activité du client ?

Un benchmark peut tester l’ensemble de cette mission en laissant les agents consulter les documents du client, interroger les parties prenantes et en mesurant le système obtenu selon l’indicateur du client.

FDE-Gym évalue des agents sur des missions client et constate qu’ils peinent à découvrir les contraintes non énoncées et à transformer les faits recueillis en systèmes efficaces.

Le test fait varier le niveau de détail des consignes, d’une tâche entièrement spécifiée à la demande initiale du sponsor client, tout en gardant le même espace de travail, les mêmes parties prenantes et les mêmes critères d’évaluation.

Sur les mêmes 20 tâches d’origine, le score moyen des trois modèles les mieux classés a baissé de 0,28 lorsque les règles et les contraintes devaient être découvertes.

Dans le réglage principal, la meilleure configuration a obtenu une moyenne de 0,56 sur 95 tâches et en a résolu 14. Le score compare l’amélioration commerciale à celle d’un système inchangé et d’une solution d’expert, tout en tenant compte des incidents et des coûts d’échange avec les parties prenantes.

Même lorsqu’un modèle a obtenu tous les faits clés suivis sur un sous-ensemble de tâches, les gains commerciaux élevés sont restés peu fréquents.

Ces résultats portent sur des modèles testés dans un seul cadre d’agent minimal et dans des situations simulées avec des clients. L’étude ne fournit aucune comparaison avec des humains.

Les réponses prédéfinies des parties prenantes et les coûts d’échange fixés par des experts ne permettent pas de mesurer l’effet d’interactions réelles avec les clients ni leur coût sur la livraison.