FR
Une méthode en deux étapes estime l’incertitude avec des modèles de fondation
HIFI: A Highly Efficient Framework for Statistical Inference with Foundation Models · arXiv:2610.34550
En termes simples
L’article présente HIFI, une méthode en deux étapes qui utilise un modèle de fondation pour estimer le résultat moyen associé à une entrée donnée et indiquer l’incertitude autour de cette estimation. HIFI adapte d’abord le modèle avec un grand échantillon.
Il utilise ensuite un échantillon distinct, plus petit, pour calculer plusieurs estimations légères de l’erreur restante. Dans des tâches synthétiques sur des images et du texte, ses intervalles se rapprochent davantage de la couverture visée de 95% que ceux obtenus par rééchantillonnage direct à taille totale d’échantillon égale.
La recherche
Comment les chercheurs peuvent-ils construire un intervalle de confiance utile autour de l’estimation, par un modèle de fondation, du résultat moyen associé à une entrée donnée, alors que le rééchantillonnage exige de nombreux ajustements coûteux et ne supprime pas à lui seul les erreurs systématiques d’estimation ? L’article propose une méthode en deux étapes pour traiter ces deux difficultés.
HIFI adapte une fois un modèle de fondation, puis ajuste les résidus sur un échantillon distinct pour estimer l’incertitude autour d’une moyenne conditionnelle.
Les auteurs cherchent comment construire des intervalles de confiance pour une moyenne conditionnelle lorsque les ajustements répétés du modèle par rééchantillonnage sont coûteux et peuvent laisser des erreurs systématiques d’estimation sans correction.
HIFI sépare le travail : la méthode adapte une fois le modèle sur un échantillon plus grand, puis utilise un échantillon indépendant pour estimer l’incertitude liée aux résidus.
À taille totale d’échantillon égale, les intervalles de 95% de HIFI contiennent la vraie moyenne conditionnelle ou la vraie probabilité avec une fréquence plus proche de 95% que le rééchantillonnage direct, qui est très conservateur.
Le calcul d’entraînement estimé est également plus faible dans les configurations testées. Ces résultats étayent la méthode dans les configurations évaluées.
Les résultats à taille d’échantillon égale proviennent de tâches synthétiques sur des images et du texte, avec quatre modèles de base testés et LoRA.
Les auteurs précisent que l’efficacité de l’ajustement à paramètres réduits peut dépendre de la tâche et que les nombreux ajustements de l’étape 2 peuvent rester coûteux pour les très grands modèles.
Ce que montrent les preuves
- Le problème d’inférence
HIFI est une méthode en deux étapes qui utilise un modèle de fondation pour estimer la moyenne conditionnelle d’une population pour une entrée donnée et fournir un intervalle de confiance autour de cette estimation.
L’article examine une difficulté du rééchantillonnage : les ajustements répétés du modèle peuvent coûter cher, et le rééchantillonnage seul ne corrige pas les erreurs systématiques d’estimation susceptibles de fausser l’intervalle.
- Séparer les deux étapes
HIFI répartit les données étiquetées en deux échantillons indépendants. La méthode adapte une fois le modèle préentraîné sur le premier, plus grand, puis utilise le second pour ajuster des estimateurs légers des résidus restants.
Comme l’estimation de la première étape reste fixe, les ajustements de la deuxième étape se concentrent sur la variation des résidus au lieu de réapprendre toute la tâche.
- Résultats à taille égale
Les auteurs comparent HIFI au rééchantillonnage direct avec la même taille totale d’échantillon et, dans chaque paire, le même modèle de base préentraîné. Sur des tâches synthétiques, trois modèles de vision et un modèle de texte sont testés. Les intervalles nominaux de 95% de HIFI ont une couverture empirique plus proche de 95%, tandis que le rééchantillonnage direct est très conservateur. Dans les configurations testées, le calcul d’entraînement estimé est aussi plus faible avec HIFI.
- Tester la taille de l’échantillon d’adaptation
Un diagnostic distinct sur une tâche de texte garde l’échantillon de deuxième étape fixe et fait varier la quantité de données utilisée par HIFI pour l’adaptation initiale. Des échantillons plus grands à la première étape réduisent le biais absolu moyen et rapprochent la couverture de 95%.
À la plus grande taille testée, les intervalles sont plus courts que ceux du rééchantillonnage direct, mais leur couverture reste légèrement sous le niveau nominal. Ce résultat se limite à cette tâche synthétique et à ce modèle de base.
Détails
- Auteurs de l’article original
- Po-Wei Chen, Shan Yu, Chunlin Li
- Soumis à arXiv
- Licence
- arXiv non-exclusive