Un benchmark mesure quand les paroles rassurantes détournent le conseil de son but

Quand quelqu’un demande conseil, une réponse peut-elle sembler attentionnée tout en laissant son objectif pratique sans solution ? Un modèle peut-il commettre l’erreur inverse en proposant des solutions alors que la personne souhaite un soutien émotionnel ?

Pour répondre à ces questions, il faut mesurer si une réponse correspond à l’objectif formulé dans le scénario.

Le Goal Displacement Benchmark vérifie si l’aide concrète demeure une fois les paroles rassurantes retirées et mesure séparément les cas où les solutions proposées évinceraient le soutien demandé.

Les auteurs ont évalué le GDB sur 18 modèles conversationnels : chacun a reçu une seule fois chacun des 230 scénarios, et deux auteurs de l’étude ont noté les réponses. Pour chaque modèle, ils ont mesuré la part des 130 scénarios avec contrainte forte classés comme déplacés selon le seuil établi à partir de la moyenne des évaluateurs.

L’intervalle, de 0,0 % à 37,7 %, montre que le test a distingué les modèles selon ce type d’échec dans l’ensemble évalué.

Les scénarios où seule la détresse était présente mesuraient le problème inverse : des solutions proposées sans demande alors que l’objectif déclaré était d’obtenir du soutien.

Ensemble, ces mesures séparées montrent que négliger un besoin pratique et donner des conseils non sollicités sont deux comportements distincts que le benchmark peut consigner.

Les scénarios ont été rédigés en anglais par les auteurs, comportent de nombreux contextes institutionnels américains dans les cas à forts enjeux et évaluent uniquement la première réponse d’un modèle. Un faible score de déplacement ne permet pas d’établir que les conseils sont corrects ou sûrs.