FR
Les petits modèles de vision peuvent dépasser les grands sur certaines tâches
On the Limits of Scale: Inverse Scaling in Vision-Language Models · arXiv:2610.27360
En termes simples
Cet article cherche à savoir si un grand modèle vision-langage peut faire moins bien qu’un plus petit sur un type précis de question portant sur des images, même si les scores généraux aux tests cachent cet écart. Les auteurs comparent des modèles d’une même famille sur les mêmes questions et vérifient lequel répond correctement lorsque leurs réponses diffèrent.
Ils trouvent de nombreuses catégories où les plus petits modèles ont un avantage net, mais l’étude ne montre pas que la taille en est la cause.
La recherche
Quand un modèle vision-langage s’améliore globalement, peut-il malgré tout devenir moins précis sur un type précis de raisonnement visuel ?
Les scores agrégés combinent plusieurs catégories et peuvent donc masquer les questions auxquelles un petit modèle répond correctement, contrairement à un grand modèle.
L’étude compare des modèles plus petits et plus grands sur les mêmes questions afin de repérer des baisses propres à certaines catégories, que les scores généraux aux tests peuvent masquer.
Pour repérer des baisses propres à certaines catégories dans des tests courants, les auteurs comparent des modèles de chacune des quatre familles à poids ouverts sur des questions communes. Pour chaque catégorie, ils comptent les désaccords où le plus petit modèle a raison et soustraient ceux où le plus grand a raison. Un bilan positif indique un avantage parmi les désaccords, pas à chaque question.
Ils trouvent 375 cas répondant aux critères, associant une catégorie et une paire de modèles, parmi 10 434 comparaisons admissibles. BLINK évalue la perception visuelle à partir de plusieurs images ; dans sa catégorie Jigsaw, Qwen3-VL 4B a été plus précis de 24 points de pourcentage que Qwen3-VL 30B-A3B sur les mêmes 150 questions.
Cet exemple montre comment des scores généraux peuvent masquer des baisses dans certaines catégories.
Comme il s’agit d’une comparaison observationnelle entre des variantes de modèles publiées, qui peuvent différer sur d’autres aspects que leur taille, l’étude ne peut pas montrer que le nombre de paramètres a causé les baisses. Elle porte également uniquement sur des modèles à poids ouverts.
Ce que montrent les preuves
- Une baisse cachée dans une catégorie
Cette étude observationnelle systématique examine la mise à l’échelle inverse à l’échelle de sous-tâches dans les modèles vision-langage, qui répondent à des questions en s’appuyant sur des images et du texte. Les auteurs se demandent si un modèle plus grand peut être moins précis dans une catégorie donnée, même si un score général masque cette baisse.
Ils recherchent ce phénomène dans des tests multimodaux courants, sans ajouter de distractions artificielles.
- Comparer les mêmes questions
Pour repérer les différences entre les réponses, les auteurs comparent des modèles au sein de chacune des quatre familles à poids ouverts, sur des questions de test communes. Leur analyse question par question compte les désaccords favorables au plus petit modèle, puis soustrait ceux qui favorisent le plus grand.
Un bilan positif signifie que le plus petit modèle répond plus souvent correctement parmi ces désaccords, et non qu’il réussit toutes les questions mieux que l’autre.
- Un écart dans Jigsaw
Les auteurs rapportent 375 cas répondant aux critères, associant une catégorie et une paire de modèles, parmi 10 434 comparaisons admissibles. Par exemple, BLINK évalue la perception visuelle à partir de plusieurs images ; dans sa catégorie Jigsaw, Qwen3-VL 4B a été plus précis de 24 points de pourcentage que Qwen3-VL 30B-A3B sur les mêmes 150 questions. Cet exemple est circonscrit : il ne vaut pas pour toutes les catégories ni pour tous les modèles.
- Le phénomène se répète entre familles
Le phénomène se retrouve au-delà d’une seule famille : 13 paires de catégories présentent des cas répondant aux critères dans au moins trois des quatre familles. Lorsque les auteurs excluent les modèles à mixture-of-experts et répètent l’analyse, il reste 193 cas, et huit paires de catégories se retrouvent dans au moins trois familles.
Ces comparaisons montrent que ces modèles ne sont pas indispensables pour que le phénomène apparaisse, mais elles n’en expliquent pas la cause.
Détails
- Auteurs de l’article original
- Rohit Saxena, Alessandro Suglia, Marek Rei, Pasquale Minervini
- Soumis à arXiv
- Licence
- CC BY 4.0