Faire correspondre le test à l’affirmation de transfert

Un classificateur de dégâts peut obtenir un bon score lorsque les images de test proviennent de catastrophes familières, alors qu’une nouvelle catastrophe constitue un test différent. Un modèle qui répond à des questions sur des images peut suivre un indice de la scène qui l’oriente vers une mauvaise réponse.

Pour un robot, le résultat à mesurer est de savoir si son guidage visuel l’aide à accomplir une tâche.

Les résultats sont utiles lorsque le changement revendiqué, la frontière du test et le résultat mesuré correspondent.

Les études examinent ces éléments au moyen de catastrophes mises de côté, de la sélection de modèles face à des indices trompeurs dans les données cibles et de la réussite de tâches robotiques précises.

Imaginons que l’on utilise des images satellite pour repérer, après une catastrophe, les tuiles qui contiennent des bâtiments endommagés. Un score obtenu en répartissant les images au hasard semble pertinent, mais des tuiles issues du même ouragan ou séisme peuvent se retrouver à la fois dans les ensembles d’entraînement et de test.

Elles peuvent partager des caractéristiques géographiques et liées au capteur, ainsi que la proportion habituelle de tuiles endommagées lors de l’événement. La question pratique est de savoir si un classificateur entraîné sur des catastrophes connues peut classer des tuiles provenant d’une catastrophe qu’il n’a jamais vue. Il faut pour cela tracer la frontière autour de l’événement, et non entre ses images.

Le même problème se pose avec d’autres systèmes visuels, même si le résultat évalué change. À la question de savoir si un objet est présent, un modèle qui répond à des questions sur des images peut se laisser influencer par les objets environnants qui apparaissent souvent avec lui.

Une politique robotique peut reconnaître une scène sans parvenir à placer un objet là où on le lui demande. Un score de réponses aux questions ne peut pas remplacer une mesure des tâches accomplies par un robot, et le score du robot ne renseigne pas sur ses performances face à des catastrophes inconnues. Pour chaque résultat, il faut préciser les conditions testées et le comportement mesuré.

Pour évaluer une affirmation de transfert, il est utile de préciser trois éléments : le changement auquel le système sera confronté, la frontière que l’évaluation trace autour de ce changement et le résultat mesuré au-delà de cette frontière.

Dans l’étude sur les catastrophes, c’est l’événement présent au moment du test qui change. Dans celle sur les questions-réponses, c’est la fréquence à laquelle les indices visuels induisent en erreur.

L’étude sur le robot mesure l’accomplissement de tâches de manipulation avec une politique et un benchmark précis. Ces tests distincts montrent pourquoi un score élevé ne suffit pas à déterminer quel type de transfert a été établi.