La correspondance d’identité faiblit quand l’écriture des noms change

Si on demande à un modèle si deux noms désignent la même personne, sa réponse devrait-elle changer simplement parce que les noms sont écrits dans des systèmes différents ?

L’article le teste directement : les deux noms sont fournis, les personnes, leur relation et la question restent fixes, tandis que la forme des noms associée au système d’écriture change.

Les auteurs comparent des paires d’identités fixes entre systèmes d’écriture, puis examinent le lien entre le seuil de réponse de Qwen, ses états internes et les correspondances manquées.

À partir de 601 paires de noms vérifiées, les auteurs ont comparé les réponses de Qwen lorsque les mêmes identités étaient écrites en devanagari ou en caractères latins, en gardant fixes les personnes, la question et la formulation en marathi.

La précision pour les paires de même personne était de 8.5 % avec deux noms en devanagari et de 35.1 % avec deux noms latins, tandis qu’elle restait d’au moins 98.6 % pour les paires désignant des personnes différentes.

Sur des exemples marathis mis de côté, l’ajout d’une constante à la marge de réponse de Qwen a fait passer la précision équilibrée — qui donne le même poids aux deux types de paires — de 0.525 à 0.879 ; une sonde distincte a atteint 0.933.

Cela suggère que le positionnement du seuil explique une grande partie des erreurs, même si l’avantage restant de la sonde laisse d’autres facteurs possibles.

L’analyse causale détaillée porte sur Qwen. La comparaison par activation patchée repose sur 12 exemples marathis mis de côté, retenus parce que chacun échouait avec deux noms en devanagari, mais réussissait avec des noms donneurs contenant des formes latines, quelles que soient les paraphrases et les deux ordres possibles des réponses.

Les contrôles de l’intervention réutilisent le même jeu de test : ils ne constituent donc pas des réplications indépendantes.