Un test montre que reconnaître une crise ne suffit pas

Quand un modèle reconnaît qu’une personne traverse peut-être une crise liée au suicide ou à l’automutilation, suffit-il d’éviter les formulations nuisibles ? Un refus peut laisser l’essentiel à faire : contribuer à désamorcer la situation immédiate et orienter la personne vers un soutien humain.

La question reste de savoir si les contrôles de sécurité actuels mesurent ce soutien concret ou surtout ce que le modèle évite de dire.

DistressBench remplace les tests limités au refus par des critères rédigés par des cliniciens pour évaluer les actions d’un modèle après la reconnaissance d’une crise.

DistressBench évalue 718 tâches simulées en anglais à l’aide de critères rédigés par des cliniciens et d’un panel de trois évaluateurs.

Chaque critère se voit attribuer par un clinicien un poids selon son importance ; les chercheurs ont évalué 25 modèles à trois reprises et calculé la part moyenne des critères satisfaits par chaque réponse.

Le meilleur modèle a obtenu 88.4%, contre 71.4% pour le modèle médian et 98.7% pour les réponses de référence des cliniciens. Dans 35.3% des conversations reconnues comme des crises, les modèles n’ont toujours pas orienté les utilisateurs vers de l’aide.

Ce résultat montre pourquoi le refus ou la reconnaissance, à eux seuls, ne suffisent pas à mesurer le soutien apporté.

Ces résultats portent sur des simulations rédigées par des experts en anglais, avec des critères de ressources centrés sur les États-Unis ; ils ne décrivent ni des échanges de crise réels ni des conséquences réelles sur la santé.

Le score de référence des cliniciens montre que le barème peut être satisfait, mais ne constitue pas une mesure de la performance humaine, car les réponses de référence ont été rédigées avec le barème sous les yeux.