Avant de faire confiance à un score, lisez le protocole d’évaluation

Imaginez que vous observiez des scores de précision différents pour le même modèle vidéo sur le même benchmark. Les poids du modèle peuvent rester identiques, tandis que l’évaluateur choisit d’autres images, les traite différemment ou applique une autre règle pour noter la réponse.

Ces études, qui portent sur des questions vidéo, les connaissances sur Taïwan et la réparation de dépendances, montrent pourquoi un résultat doit être accompagné de son protocole. Dans les conditions testées, un test compact peut réduire le coût d’une comparaison, mais la couverture de ses tâches limite toujours la portée de la conclusion. Pour une réparation, la réussite dépend aussi des contrôles exécutés par le vérificateur.

Un chercheur qui compare des modèles vidéo relève un cas préoccupant : d’un article à l’autre, la précision attribuée au même checkpoint Qwen2.5-VL-7B sur VideoMME varie de 19,5 points de pourcentage. Cet écart correspond à la différence entre les scores publiés pour un modèle donné sur un même benchmark de questions vidéo ; il ne mesure pas une amélioration du modèle.

Si un progrès revendiqué se situe dans cette fourchette, le score seul ne permet pas de savoir si la différence vient du modèle ou du protocole d’évaluation.

L’étude vidéo met en évidence des choix que peut masquer un score de benchmark. Un modèle peut recevoir des images différentes extraites d’un même clip ; une limite sur le nombre d’images détermine la part du clip qu’il peut examiner. Le logiciel qui lit et prépare la vidéo peut lui aussi modifier l’entrée. Pour juger une comparaison entre modèles, il faut donc savoir ce qui leur a été présenté, ainsi que la question posée.

Le problème ne concerne pas que la vidéo. Un modèle de langage peut fournir une réponse qu’un évaluateur interprète correctement et qu’un autre traite mal. Un assistant de programmation peut réussir à compiler un projet sans supprimer la vulnérabilité visée. Ces tâches diffèrent, mais soulèvent la même question : qu’a réellement fourni, compté et vérifié le protocole d’évaluation ?

Les comparaisons qui suivent éclairent chacune une partie de cette question, dans les limites de leurs conditions de test.