Alcuni modelli riconoscono le fonti affidabili ma non usano quell’indizio

Quando le prove sono in conflitto, una risposta che cambia è ambigua: il modello ha notato la cronologia rilevante di una fonte, l’ha usata per orientare il giudizio o ha seguito un altro indizio, come l’ordine dei rapporti?

Un solo punteggio basato sul cambiamento della risposta non permette di distinguere queste possibilità. Perciò è difficile capire se un apparente aggiornamento del modello rifletta proprio le prove che i ricercatori volevano esaminare.

Gli autori distinguono il riconoscimento dell’affidabilità di una fonte dalla sua influenza sul giudizio e mostrano che i prompt possono modificare tale influenza in alcuni modelli.

Gli autori hanno creato una valutazione con 500 mondi, scenari fittizi appaiati, domande separate per identificare gli indizi e scelte finali su quali affermazioni sostenere.

In ogni coppia cambia un indizio specifico, come la cronologia di una fonte, mentre le caratteristiche indicate dello scenario restano fisse. Quando le prove non risolvono la scelta, non esiste un unico stato corretto; l’influenza si misura quindi come variazione, in punti percentuali, della quota di scelte per lo stato B.

I risultati distinguono il riconoscimento dall’uso: Qwen3.8-27B ha riconosciuto la fonte più solida nel 99.5% dei casi con cronologie diseguali, ma ha mostrato un effetto della cronologia di 0.0 punti; GPT-6 Sol ha raggiunto il 100.0% in entrambe le misure.

Per Qwen3.5-27B, anche quando le verifiche d’identificazione erano corrette, l’effetto è rimasto a 0.68 punti, contro 0.67 nel complesso: la debole influenza non dipendeva soltanto dal mancato riconoscimento.

Questi risultati provengono da scenari testuali in inglese costruiti dai ricercatori, e l’intervento è stato testato soltanto su tre checkpoint Qwen.

Qui la sensibilità agli indizi è misurata sul comportamento: non dimostra correttezza fattuale, decisioni migliori nel mondo reale o capacità di giudizio affidabili.