Un benchmark mostra quando i modelli linguistici accantonano segnalazioni

Quando un modello decide quanto imparare dalla segnalazione di una persona, una misura di equità potrebbe portarlo a scartare le sue informazioni? Un controllo della fiducia che osserva solo le segnalazioni valutate dal modello può trascurare questo costo.

Perciò gli autori chiedono se cambiare la descrizione della persona modifichi quali segnalazioni vengono accantonate.

Gli autori usano un gioco con due urne per misurare sia se i modelli rifiutano le segnalazioni, sia quanta fiducia assegnano a quelle che valutano.

Gli autori usano un gioco con due urne e risposta nota per chiedere se la descrizione di una persona influenzi la frequenza con cui un modello accantona un’informazione.

Cambiano la descrizione mantenendo fisse le prove e la segnalazione, e registrano separatamente i rifiuti e l’affidabilità assegnata alle segnalazioni valutate.

In Luna high, i rifiuti erano più frequenti per le persone descritte come nere, benché le segnalazioni valutate ricevessero valutazioni di affidabilità leggermente più alte.

Poiché questa fiducia condizionata alla valutazione compensa in parte i rifiuti nella media complessiva, il confronto mostra perché misurare entrambe le decisioni fa emergere perdite di informazioni che le medie di fiducia possono nascondere.

Questi risultati provengono da un gioco controllato con urne, non da osservazioni di decisioni nel mondo reale.

Il risultato separato ottenuto con il gioco ripetuto riguarda cinque configurazioni e non stabilisce come funzioni la responsabilizzazione basata su prove quando le prove non sono disponibili, arrivano una sola volta o sono distorte nel modo in cui vengono raccolte o nella loro origine.