Dia ne consulte d’autres modèles qu’en cas de désaccord entre réponses
En termes simples
Les modèles de langage peuvent répéter la même mauvaise réponse, conserver une erreur initiale après avoir raisonné davantage ou faire davantage confiance à une réponse simplement parce qu’elle vient plus tard. Cet article présente Dia, une méthode qui vérifie si la réponse d’un modèle en cours de raisonnement correspond à sa réponse finale.
En cas de désaccord, trois autres modèles répondent à la question d’origine sans voir l’une ou l’autre des réponses. Sur sept tests de raisonnement et deux modèles de base, Dia s’est montrée plus précise que le fait de laisser le modèle de base terminer son raisonnement dans 12 des 14 configurations évaluées. Ce résultat concerne les configurations testées, pas tous les modèles ni toutes les tâches.
La recherche
Quand un modèle de langage se trompe, lui demander de raisonner plus longtemps ou de proposer davantage de réponses apporte-t-il de nouveaux éléments ?
L’article étudie si ses erreurs persistent dans les réponses répétées, le raisonnement prolongé et l’autoévaluation, et si un désaccord en cours de raisonnement peut signaler quand une autre source d’éléments serait utile.
Dia s’appuie sur les réponses intermédiaire et finale d’un modèle pour décider quand trois modèles indépendants doivent répondre et arbitrer.
Les auteurs vérifient si le désaccord entre les réponses intermédiaire et finale d’un modèle peut repérer les cas où une autre source d’éléments pourrait aider. Les réponses répétées, le raisonnement prolongé et l’autoévaluation peuvent conserver ou favoriser des erreurs propres au modèle.
Dia transmet uniquement les désaccords à trois modèles indépendants, qui répondent à la question d’origine sans voir les réponses candidates. Sur sept familles de tests et deux modèles de base, Dia est plus précise que la chain-of-thought complète dans 12 des 14 configurations.
Cette tendance étaye l’arbitrage sélectif sur ces tests ; dans les exceptions de MATH, la méthode de référence, déjà très précise, laissait peu de marge de progression.
La comparaison principale porte sur des sous-ensembles fixes de sept familles de tests et sur deux modèles de base. Dans les deux configurations de MATH, la chain-of-thought complète laissait déjà peu de marge de progression.
Les résultats ne permettent pas d’établir les performances de Dia sur d’autres modèles ou d’autres tâches.
Analyse
Détails
- Auteurs de l’article original
- Ming Shen, Tianjun Yao
- Soumis à arXiv
- Licence
- CC BY 4.0