Un test fondé sur les articles de code révèle des conflits déontologiques

Une réponse peut-elle satisfaire une demande professionnelle dans un langage fluide tout en enfreignant la règle précise qui encadre ce travail ?

Les catégories générales de préjudice ne désignent pas l’article en cause, et les tests composés uniquement de demandes abusives ne peuvent pas distinguer le respect des règles d’un modèle qui refuse tout.

TenetBench associe des demandes contraires à un article de code à des demandes bénignes jumelles et évalue les réponses des modèles au regard de la règle professionnelle citée.

TenetBench vérifie si les réponses de modèles de langue entrent en conflit avec un article précis d’un code professionnel, tout en examinant si les modèles répondent aux demandes légitimes.

Il associe chaque demande contraire à une règle à une demande bénigne jumelle fondée sur le même scénario, puis utilise un évaluateur fondé sur un modèle de langue, dont la configuration est figée, pour étiqueter séparément l’action, le conflit avec l’article et la présence d’un refus ou d’un avertissement.

Par rapport aux étiquettes humaines arbitrées, l’évaluateur a montré un accord élevé sur les jeux annotés. Lors de l’évaluation, 2 622 des 3 906 réponses aux tâches contraires aux règles ont été jugées en conflit avec l’article correspondant, et onze des quatorze configurations de modèles et de modes de raisonnement ont contrevenu à l’article dans plus de 60 % des 279 tâches.

Ces résultats étayent un constat diagnostique sur les textes de réponses testés, et non une évaluation générale de la conduite professionnelle.

Ces résultats portent sur des réponses générées à partir de tâches fondées sur des codes professionnels russes relevant d’un seul système juridique. L’analyse des modèles couvre neuf des dix domaines de préjudice.

Le test n’évalue ni la qualité des réponses ni les obligations qui ne sont enfreintes que par les actes ultérieurs d’un spécialiste.