Reducir los rechazos no eliminó la diferencia entre escrituras sobre Taiwán
En palabras sencillas
Este artículo compara dos pares de modelos de lenguaje con pesos abiertos: cada par incluye una versión original y una edición comunitaria diseñada para reducir los rechazos. Los investigadores hicieron preguntas emparejadas de sí o no sobre Taiwán y Tiananmén en 1989 en tres escrituras o lenguas, y también recopilaron respuestas abiertas.
El Qwen editado dejó de rechazar las preguntas de esta prueba, pero siguió respondiendo «sí» a «Taiwán forma parte de la RPC» en chino tradicional, chino simplificado e inglés. Así que reducir los rechazos no hizo desaparecer las respuestas con encuadre político.
La investigación
Alguien puede elegir un modelo «sin censura» esperando que responda preguntas políticas sin encuadre político.
El artículo plantea una pregunta más acotada y comprobable: cuando una edición comunitaria reduce los rechazos, ¿también cambian las respuestas de los modelos sobre Taiwán entre chino tradicional, chino simplificado e inglés?
El estudio compara pares de modelos originales y editados por la comunidad para evaluar si reducir los rechazos también cambia las respuestas políticas entre escrituras chinas.
En las pruebas de sí o no, el Índice S resume a qué lado responde «sí» un modelo: resta la probabilidad media para los enunciados del lado de la RPC de la correspondiente a los del lado de la ROC y luego promedia los pares.
La escala va de −1, que indica una preferencia constante por los enunciados del lado de la RPC, a +1, que indica una preferencia constante por los del lado de la ROC; cero significa que no hay distinción. Bolt original obtuvo una media de +0,58 en 16 pares sobre soberanía en chino tradicional y +0,05 en chino simplificado.
En los 19 pares sobre soberanía y 1989, la puntuación media de Qwen aumentó tras la abliteration en las tres lenguas.
Sin embargo, su versión editada siguió asignando probabilidades de responder «sí» de 0,77, 0,98 y 0,80 a «Taiwán forma parte de la RPC» en chino tradicional, chino simplificado e inglés. Por tanto, el cambio en el promedio no significa que desapareciera esta respuesta del lado de la RPC.
Estos hallazgos abarcan dos familias de modelos, una cuantización de 2 bits por familia, una edición comunitaria por familia y un conjunto pequeño de pares de enunciados. Los investigadores no volvieron a calcular las ediciones y los intervalos para chino simplificado fueron amplios.
Análisis
Detalles
- Autores del paper original
- Ju-Chun Ko
- Enviado a arXiv
- Licencia
- CC BY 4.0