Évaluer les options séparément stabilise les choix face à l’ordre

Quand un autre élément d’un système crée ou réorganise une liste de choix, un modèle de langage peut-il éviter de changer de réponse uniquement à cause de l’ordre ? Et l’ajout d’une option sans pertinence peut-il laisser intactes les probabilités relatives des choix d’origine ?

L’article démontre quelle forme de score respecte les deux règles de cohérence, puis crée Prism-1 pour évaluer chaque option séparément et transformer les scores en probabilités de choix.

Avec les mêmes données et le même budget d’entraînement, les auteurs ont comparé Prism-1 à une méthode d’incitation à choisir une seule réponse ; leurs dispositifs de décision et leurs cibles d’entraînement différaient.

Sur les moyennes de cinq ensembles de tâches, l’exactitude ordinaire était similaire, sans différence globale significative.

L’exactitude robuste à l’ordre, qui ne compte que les réponses correctes dans la liste d’origine et dans une liste réordonnée, était en faveur de Prism-1 pour les deux modèles. Ses réponses n’ont jamais changé après ce réordonnancement.

Ces résultats étayent l’idée que l’évaluation indépendante préserve la cohérence face à l’ordre sans baisse générale de l’exactitude.

Les résultats empiriques portent sur deux modèles ouverts, des listes de 20 options au maximum et une à trois exécutions d’entraînement par configuration. La garantie de la méthode n’est exacte qu’à l’arrondi numérique près, ce qui peut départager des options presque à égalité.