Valutare le opzioni separatamente mantiene stabili le scelte al riordino

Quando un’altra parte di un sistema crea o riordina un elenco di opzioni, un modello linguistico può evitare di cambiare risposta solo per via dell’ordine? E aggiungere una scelta irrilevante può lasciare invariate le probabilità relative delle opzioni originali?

Il lavoro dimostra quale forma di punteggio soddisfa entrambe le regole di coerenza, poi realizza Prism-1 per valutare ogni opzione in modo indipendente e trasformare i punteggi in probabilità di scelta.

Usando gli stessi dati e lo stesso budget di addestramento, gli autori hanno confrontato Prism-1 con il metodo basato su prompt a scelta singola; i due metodi usavano modi diversi di leggere la decisione e diversi obiettivi di addestramento.

Nelle medie dei cinque insiemi di attività, l’accuratezza ordinaria era simile, senza differenze complessive significative.

L’accuratezza robusta all’ordine, che conta solo le risposte corrette sia nell’elenco originale sia in uno riordinato, era a favore di Prism-1 su entrambi i modelli.

Le sue risposte non sono mai cambiate dopo quel riordino: un risultato che supporta l’idea che il punteggio indipendente mantenga la coerenza rispetto all’ordine senza una penalizzazione generale dell’accuratezza.

Le prove empiriche riguardano due modelli aperti, insiemi di al massimo 20 opzioni e da una a tre sessioni di addestramento per configurazione. La garanzia della costruzione è esatta solo a meno degli arrotondamenti numerici, che possono decidere i casi di quasi parità.