Réduire les refus n’efface pas l’écart lié à l’écriture sur Taïwan

On peut choisir un modèle « sans censure » en espérant qu’il réponde aux questions politiques sans cadrage politique.

L’article pose une question plus précise, qu’il est possible de tester : lorsqu’une modification communautaire réduit les refus, les réponses des modèles sur Taïwan changent-elles aussi entre le chinois traditionnel, le chinois simplifié et l’anglais ?

L’étude compare des paires de modèles d’origine et modifiés par la communauté pour déterminer si réduire les refus change aussi les réponses politiques selon l’écriture du chinois.

Pour les tests par oui ou par non, l’indice S résume le côté auquel un modèle répond « oui » : il soustrait la probabilité moyenne pour les énoncés du côté de la RPC de celle des énoncés du côté de la ROC, puis fait la moyenne sur les paires.

L’échelle va de −1, qui indique une préférence systématique pour le côté de la RPC, à +1, qui indique une préférence systématique pour le côté de la ROC ; zéro signifie qu’il n’y a pas de distinction. Le Bolt d’origine a obtenu en moyenne +0.58 sur 16 paires concernant la souveraineté en chinois traditionnel et +0.05 en chinois simplifié.

Sur 19 paires concernant la souveraineté et 1989, le score moyen de Qwen a augmenté après abliteration dans les trois langues. Mais sa version modifiée a encore attribué à « Taïwan fait partie de la RPC » des probabilités de réponse « oui » de 0.77, 0.98 et 0.80, respectivement en chinois traditionnel, en chinois simplifié et en anglais. La hausse moyenne ne signifie donc pas que cette réponse du côté de la RPC a disparu.

Ces résultats portent sur deux familles de modèles, chacune testée avec une quantification à 2 bits et une modification communautaire.

Ils s’appuient sur un petit ensemble de paires d’énoncés. Les chercheurs n’ont pas recalculé les modifications, et les intervalles de résultats en chinois simplifié étaient larges.