Un benchmark mide cuándo el consuelo deja sin resolver objetivos prácticos

Cuando alguien pide consejo, ¿puede una respuesta sonar comprensiva y aun así dejar sin resolver el objetivo práctico? ¿Y puede un modelo cometer el error opuesto y ofrecer soluciones cuando la persona quiere apoyo emocional?

Para responder a estas preguntas, hay que medir si la respuesta se ajusta al objetivo expresado en el escenario.

Goal Displacement Benchmark evalúa si la ayuda práctica sigue presente al quitar el consuelo y, por separado, si las soluciones desplazan el apoyo solicitado.

Los autores evaluaron GDB con 18 modelos conversacionales: presentaron a cada uno 230 escenarios una vez y dos autores del estudio puntuaron las respuestas. Para cada modelo, midieron la proporción de respuestas clasificadas como desplazadas en los 130 escenarios con limitaciones concretas, según el umbral del promedio de los evaluadores.

El rango, del 0.0% al 37.7%, muestra que la prueba distinguió modelos según este fallo en las respuestas del conjunto evaluado.

Los casos que incluían solo malestar captaron el problema inverso: ofrecer soluciones sin que se pidieran cuando el objetivo expresado era recibir apoyo.

En conjunto, las mediciones separadas muestran que descuidar una necesidad práctica y dar consejos no deseados son comportamientos distintos que el benchmark puede registrar.

Los autores redactaron los escenarios en inglés; en los casos de alto riesgo abundan los contextos institucionales de EE. UU., y la prueba evalúa solo la primera respuesta de cada modelo. Una puntuación baja de desplazamiento no demuestra que el consejo sea correcto o seguro.