Una prueba basada en cláusulas revela conflictos con reglas de ética profesional

¿Puede una respuesta fluida atender una solicitud profesional y, aun así, infringir la regla específica que rige ese trabajo?

Las categorías generales de daño no identifican la cláusula en cuestión, y las pruebas compuestas solo por solicitudes indebidas no permiten distinguir el cumplimiento de un modelo que lo rechaza todo.

TenetBench empareja solicitudes que entran en conflicto con una cláusula con otras legítimas y evalúa las respuestas de los modelos frente a la regla profesional indicada.

TenetBench evalúa si las respuestas de modelos de lenguaje entran en conflicto con una cláusula específica de un código profesional y también comprueba si los modelos atienden solicitudes legítimas.

Empareja cada solicitud conflictiva con otra legítima para la misma situación y luego usa un evaluador fijo basado en un modelo de lenguaje para etiquetar por separado la acción, el conflicto con la cláusula y la negativa o advertencia.

Al compararlo con etiquetas humanas adjudicadas, el evaluador mostró una coincidencia alta en los conjuntos anotados. En la campaña, se consideró que 2,622 de 3,906 respuestas a tareas conflictivas entraban en conflicto con su cláusula, y once de catorce combinaciones de modelo y modo de razonamiento entraron en conflicto en más del 60% de las 279 tareas.

Esto respalda un hallazgo diagnóstico sobre el texto de las respuestas evaluadas, no una calificación general de la conducta profesional.

Estos hallazgos se refieren a tareas con respuestas generadas a partir de códigos profesionales rusos de un sistema jurídico, y el análisis de modelos abarca nueve de los diez dominios de daño. La prueba no evalúa la calidad de las respuestas ni las obligaciones que solo se incumplen mediante acciones posteriores de un especialista.