Un benchmark misura quando le rassicurazioni lasciano irrisolti gli obiettivi

Quando qualcuno chiede un consiglio, una risposta può sembrare di sostegno e lasciare irrisolto l’obiettivo pratico? E un modello può commettere l’errore opposto, offrendo soluzioni quando la persona desidera sostegno emotivo? Per rispondere occorre misurare se una risposta rispetta l’obiettivo dichiarato nello scenario.

Il Goal Displacement Benchmark verifica se l’aiuto pratico resta dopo aver tolto le rassicurazioni e misura separatamente i casi in cui le soluzioni prendono il posto del sostegno richiesto.

Gli autori hanno valutato GDB su 18 modelli conversazionali, sottoponendo ciascuno una volta a 230 scenari e facendo valutare le risposte a due autori dello studio. Per ogni modello hanno misurato la quota dei 130 scenari con vincoli concreti classificati come sostitutivi in base alla soglia calcolata sulla media dei valutatori.

L’intervallo, dallo 0.0% al 37.7%, mostra che il test ha distinto i modelli rispetto a questo errore nelle risposte del gruppo valutato.

I casi con solo disagio rilevavano il problema inverso: proporre soluzioni non richieste quando l’obiettivo dichiarato era ricevere sostegno.

Nel loro insieme, le misure separate mostrano che trascurare il bisogno pratico e dare consigli indesiderati sono comportamenti distinti che il benchmark può registrare.

Gli scenari sono stati scritti in inglese dagli autori, includono molti contesti istituzionali statunitensi nei casi ad alto rischio e valutano solo la prima risposta del modello. Un punteggio basso di sostituzione dell’obiettivo non dimostra che i consigli siano corretti o sicuri.