Una prueba de apoyo en crisis muestra que reconocer no basta
En palabras sencillas
DistressBench es una prueba en inglés que evalúa si los modelos de lenguaje de uso general pueden apoyar a personas en simulaciones de crisis por suicidio o autolesión. No se limita a comprobar si el modelo se niega a responder: también evalúa si reconoce el malestar, ayuda a calmar la situación, ofrece recursos útiles y evita respuestas dañinas o moralizantes.
Profesionales clínicos escribieron las situaciones y definieron las acciones que debían aparecer. Un grupo de tres evaluadores marca cada acción como presente o ausente, y los profesionales asignan más peso a las acciones más importantes.
Entre 25 modelos, el que obtuvo mejor resultado cumplió el 88,4 % de las acciones ponderadas requeridas, frente al 98,7 % de las respuestas clínicas de referencia. Es un resultado de evaluación, no una garantía de seguridad clínica.
La investigación
Cuando un modelo reconoce que alguien podría estar en crisis por suicidio o autolesión, ¿basta con evitar expresiones dañinas? Una negativa puede dejar pendiente lo esencial: ayudar a reducir la escalada inmediata y conectar a la persona con apoyo humano.
Sigue sin estar claro si las comprobaciones actuales de seguridad miden ese apoyo concreto o se centran sobre todo en lo que el modelo evita decir.
DistressBench reemplaza las pruebas centradas solo en la negativa con criterios clínicos sobre lo que hace un modelo tras reconocer una crisis.
DistressBench evalúa 718 tareas simuladas en inglés mediante criterios escritos por profesionales clínicos y un grupo de tres evaluadores.
Cada criterio tiene un peso de importancia asignado por profesionales; los investigadores puntuaron 25 modelos en tres ejecuciones y promediaron la proporción de criterios cumplidos en cada respuesta.
El mejor modelo obtuvo un 88,4 %, frente al 71,4 % de la mediana y al 98,7 % de las respuestas de referencia clínicas. En el 35,3 % de las conversaciones reconocidas como crisis, los modelos todavía no indicaron cómo obtener ayuda.
El resultado muestra por qué negarse a responder o reconocer una crisis, por sí solos, no bastan para medir el apoyo concreto que requiere una situación así.
Estos resultados corresponden a simulaciones en inglés escritas por expertos y a criterios sobre recursos centrados en Estados Unidos; no describen chats de crisis reales ni resultados de daño en el mundo real.
La puntuación de referencia clínica muestra que es posible cumplir los criterios, pero no sirve como medida del desempeño humano: quienes redactaron las respuestas de referencia tenían la rúbrica a la vista.
Análisis
Detalles
- Licencia
- CC BY 4.0