La coincidencia de identidades falla cuando cambian los sistemas de escritura
En palabras sencillas
El artículo comprueba si los modelos de lenguaje reconocen que dos nombres corresponden a la misma persona cuando están escritos con alfabetos distintos. Los autores mantienen las personas y la pregunta fijas y comparan las respuestas de los modelos.
En la prueba de Qwen en maratí, a menudo no detectó coincidencias cuando ambos nombres estaban en devanagari, aunque casi siempre descartó los pares que se referían a personas distintas. Un ajuste sencillo del umbral sí/no de Qwen corrigió gran parte de esta diferencia en ejemplos reservados para la evaluación, pero no la explicó por completo.
La investigación
Si se pregunta a un modelo si dos nombres corresponden a la misma persona, ¿debería cambiar su respuesta solo porque los nombres estén escritos con sistemas distintos?
El artículo lo comprueba directamente: proporciona ambos nombres y mantiene fijas las personas, la relación y la pregunta mientras cambia la forma de escribirlos asociada a cada sistema.
Los autores comparan pares de identidad fijos entre sistemas de escritura y luego estudian cómo se relacionan el umbral de respuesta de Qwen y sus estados internos con las coincidencias que no detecta.
Con 601 pares de nombres revisados, los autores compararon las respuestas de Qwen cuando las mismas identidades aparecían en devanagari o en alfabeto latino, manteniendo fijas las personas, la pregunta y la indicación en maratí.
La precisión con pares de la misma persona fue del 8,5 % con dos nombres en devanagari y del 35,1 % con dos nombres en alfabeto latino, mientras que la precisión con pares de personas distintas se mantuvo en al menos el 98,6 %.
En ejemplos maratíes reservados para la evaluación, sumar una constante al margen de respuesta de Qwen elevó la precisión equilibrada —que pondera por igual ambos tipos de pares— de 0,525 a 0,879; una sonda separada alcanzó 0,933.
Esto sugiere que la ubicación del umbral explica gran parte del fallo, aunque la ventaja restante de la sonda deja abiertos otros factores.
El análisis causal detallado se centra en Qwen, y la comparación de parcheo se basa en 12 ejemplos maratíes reservados para la evaluación, seleccionados porque cada uno falló en Dev–Dev, pero funcionó con nombres donantes que incluían formas en alfabeto latino, en distintas paráfrasis y con ambos órdenes de la clave de respuestas.
Los controles de la intervención reutilizan la misma división de prueba, por lo que no son réplicas independientes.
Análisis
Detalles
- Autores del paper original
- Athira Gopal, Patil Prathamesh Pravin, Ankush Kadu, Arpit Jain, Ashwanth Krishnan
- Enviado a arXiv
- Licencia
- CC BY 4.0