FR
Les traces de raisonnement révèlent des erreurs de calibration cachées
Reasoning-Aware Multicalibrated Reliability Predictors for Language Models · arXiv:2610.26645
En termes simples
L’article propose une méthode pour améliorer les estimations indiquant si la réponse d’un modèle de langage est correcte ou dangereuse. Elle regroupe les réponses selon leur sujet et selon des indices visibles dans la trace de raisonnement du modèle, puis ajuste les probabilités prédites à partir d’exemples annotés. Ces indices sont des étiquettes décrivant le texte ; ils ne prouvent pas ce que le modèle a réellement pensé.
Dans quatre jeux de données de questions-réponses, l’utilisation des deux types de groupes a réduit la mesure d’erreur de probabilité des chercheurs, par rapport à l’utilisation des seuls groupes par sujet. Cela ne signifie pas que toutes les mesures de calibration se sont améliorées.
La recherche
Quand la confiance est moyennée par sujet, peut-elle masquer des réponses bien moins fiables que leurs scores ne le suggèrent ?
L’article examine si les propriétés visibles de la trace de raisonnement d’un modèle peuvent révéler ces différences tout en maintenant la calibration des prédictions dans des groupes pertinents pour l’application, comme les sujets.
La multicalibration tenant compte du raisonnement affine les estimations de correction ou de sécurité en regroupant les réponses par sujet et selon les caractéristiques visibles des traces de raisonnement, puis en ajustant les scores sur des exemples annotés.
Les auteurs ont testé Qwen3-8B sur quatre jeux de données de questions-réponses, en comparant les réponses à des réponses acceptées. Sur les exemples réservés à l’évaluation, l’ajout de groupes fondés sur les traces aux groupes par sujet a réduit l’erreur de Brier — l’écart quadratique moyen entre la probabilité prédite qu’une réponse soit correcte et sa correction réelle — de 4,5 % à 15,0 % par rapport à la calibration par sujet seule.
Les erreurs de calibration moyennes et maximales par sujet étaient similaires, sans qu’une méthode soit systématiquement meilleure.
Les résultats proviennent de quatre jeux de données de questions-réponses et d’un jeu de données de sécurité sélectionné ; ils n’établissent pas les performances dans d’autres domaines.
Le résultat théorique énonce une condition nécessaire pour que des groupes supplémentaires soient utiles dans une procédure gloutonne précise, sans garantir une baisse de l’erreur finale.
Ce que montrent les preuves
- Les moyennes peuvent masquer des erreurs
La multicalibration tenant compte du raisonnement est une méthode appliquée après l’entraînement pour ajuster un prédicteur indiquant si une réponse est correcte ou dangereuse. La question est de savoir si les seuls groupes par sujet suffisent à saisir tous les schémas d’erreur de prédiction.
Dans une tranche de MMLU réservée à l’évaluation, un test de connaissances à choix multiples, la confiance moyenne par sujet était proche du taux de réponses correctes. Pourtant, les réponses dont les traces examinaient plusieurs options plausibles étaient bien moins souvent correctes que ne le laissait penser leur niveau de confiance.
- S’appuyer sur les indices visibles des traces
La méthode ajoute aux groupes pertinents pour l’application, comme les sujets, des groupes fondés sur les propriétés observables des traces de raisonnement. Un annotateur répond par oui ou par non à des questions de diagnostic sur la trace ; des exemples annotés permettent ensuite à un algorithme de calibration d’ajuster les scores du prédicteur dans les groupes par sujet, par trace ou dans les deux.
Les étiquettes de diagnostic concernent le texte visible : elles n’établissent ni qu’il reflète fidèlement le raisonnement interne, ni qu’une vérification mentionnée est valide.
- Les groupes combinés réduisent l’erreur
Les auteurs ont testé la prédiction des hallucinations avec Qwen3-8B sur quatre jeux de données de questions-réponses : deux utilisent des questions à choix multiples et deux des réponses courtes. À partir des mêmes scores, ils ont comparé la calibration par sujet seule à celle combinant groupes par sujet et par trace.
Sur les exemples réservés à l’évaluation, l’approche combinée avait une erreur de Brier plus faible dans les quatre jeux de données. Cette mesure correspond à l’écart quadratique moyen entre la probabilité prédite qu’une réponse soit correcte et le résultat réel.
- Vérifier une autre méthode de correction
Les auteurs ont aussi répété la comparaison entre méthode par sujet seule et méthode combinée avec un second algorithme de calibration, qui ajuste les scores de façon linéaire dans les régions sélectionnées au lieu d’appliquer des décalages constants.
L’approche combinée avait de nouveau une erreur de Brier plus faible sur les exemples réservés à l’évaluation dans les quatre jeux de données. Les erreurs de calibration moyennes et maximales par sujet n’évoluaient pas toutes dans le même sens : la tendance observée concerne donc l’erreur de Brier, et pas toutes les mesures.
- Le transfert et la sécurité ont leurs limites
Lorsque les prédicteurs calibrés sur un jeu de données de questions-réponses étaient figés puis testés sur un autre, la calibration combinée surpassait le transfert par sujet seul pour l’erreur de Brier et l’erreur moyenne de calibration par sujet dans les douze directions. Les prédicteurs calibrés sur le jeu cible avaient une erreur de Brier plus faible que les prédicteurs combinés transférés. Une évaluation distincte en matière de sécurité a également relevé une erreur de Brier plus faible avec la calibration combinée, mais une erreur maximale par sujet plus élevée : les gains dépendent donc de la mesure considérée.
Détails
- Auteurs de l’article original
- Ekaterina Fedorova, Alessandro Morosini, Chara Podimata
- Soumis à arXiv
- Licence
- CC BY 4.0