Changer les réglages d’un modèle peut réduire la couverture des prédictions
En termes simples
La prédiction conforme construit un ensemble de réponses possibles et cherche à y inclure la bonne réponse à un taux choisi. L’article examine ce qui se passe lorsqu’on calibre un modèle de langage avec un réglage d’inférence, puis qu’on l’utilise avec un autre, par exemple une température ou un mode de quantification différent.
Dans les tests menés avec de petits modèles de langage et des tâches proposant un nombre fini de réponses, la couverture diminuait souvent lorsque les réglages ne correspondaient pas. L’effet variait selon le modèle et la tâche : les résultats ne signifient donc pas que chaque changement provoque une baisse.
La recherche
Si la calibration et le déploiement utilisent des réglages différents, un résultat de couverture élevé obtenu lors d’un test à réglages assortis indique-t-il encore la fréquence à laquelle les ensembles de prédictions contiennent la bonne réponse en conditions d’utilisation ?
La question compte parce que la quantification ou la température peut modifier les scores qui servent à construire ces ensembles, même si la tâche et le modèle entraîné restent identiques.
L’article formalise le décalage du modèle au moment de l’inférence et mesure l’effet d’un changement de quantification ou de température entre la calibration et l’utilisation sur la couverture conforme.
Les auteurs ont vérifié si une calibration réalisée avec les mêmes réglages que l’évaluation décrivait encore la couverture après un changement des paramètres de déploiement. Sur MMLU-Pro, un test de questions à choix multiples, ils ont mesuré la proportion d’exemples d’évaluation dont la vraie réponse figurait dans l’ensemble de prédictions.
Avec le déploiement fixé à nf4 et à une température de 0.5, la couverture moyenne des huit modèles était de 0,902 lorsque les réglages correspondaient, mais de 0,639 lorsque les réglages de calibration différaient.
Comme la tâche et le modèle entraîné sont restés identiques, la comparaison relie cette baisse, dans ce cadre, à une modification de la procédure qui produit les scores d’inférence. D’autres vérifications, où les auteurs ont calculé la moyenne sur les modes de quantification ou les températures de déploiement, ont aussi révélé des effets du décalage, d’ampleur variable.
Ces résultats appuient l’idée qu’il faut évaluer la sensibilité aux configurations en plus de la couverture mesurée avec des réglages assortis.
L’audit porte sur huit petits modèles de langage, quatre tâches à choix de réponse finis et un ensemble limité de modes de quantification et de températures.
Il ne permet pas de prévoir si un changement de configuration donné entraînera une couverture insuffisante, une couverture excessive ou seulement un effet limité.
Analyse
Détails
- Auteurs de l’article original
- Achref Doula, Max Mühlhäuser
- Soumis à arXiv
- Licence
- CC BY-SA 4.0