Il riconoscimento delle identità cala quando cambiano le scritture dei nomi

Se a un modello viene chiesto se due nomi si riferiscono alla stessa persona, la sua risposta dovrebbe cambiare solo perché i nomi sono scritti con sistemi diversi?

Il paper verifica direttamente questa domanda fornendo entrambi i nomi e mantenendo fissi persone, relazione e domanda mentre cambia la forma dei nomi associata alla scrittura.

Gli autori confrontano coppie d’identità fisse in sistemi di scrittura diversi e verificano come la soglia di risposta e gli stati interni di Qwen si colleghino alle corrispondenze mancate.

Usando 601 coppie di nomi controllate, gli autori hanno confrontato le risposte di Qwen quando le stesse identità erano indicate in Devanagari o in caratteri latini, mantenendo fissi le persone, la domanda e il prompt in Marathi.

L’accuratezza nel riconoscere la stessa persona era dell’8.5% con due nomi in Devanagari e del 35.1% con due nomi in caratteri latini, mentre quella nel distinguere persone diverse restava almeno del 98.6%.

Sugli esempi Marathi tenuti da parte, aggiungere una costante al margine della risposta di Qwen ha portato l’accuratezza bilanciata — che assegna lo stesso peso ai due tipi di coppia — da 0.525 a 0.879; un probe separato ha raggiunto 0.933.

Questo suggerisce che la posizione della soglia spieghi gran parte dell’errore, anche se il vantaggio residuo del probe lascia aperta la possibilità di altri fattori.

L’analisi causale dettagliata riguarda Qwen. Il confronto di patching si basa su 12 esempi Marathi tenuti da parte, selezionati perché il modello aveva fallito con entrambe le versioni dei nomi in Devanagari, ma aveva risposto correttamente con nomi donatori contenenti caratteri latini, attraverso parafrasi e con entrambi gli ordini delle risposte possibili.

I controlli dell’intervento riutilizzano lo stesso insieme di test, quindi non sono repliche indipendenti.