Une méthode pour planifier les tests d’équivalence entre entraînements

Quand quelques essais d’entraînement ne montrent aucune différence nette, les chercheurs ne peuvent toujours pas savoir si deux méthodes sont équivalentes en pratique.

Combien d’essais indépendants fourniraient assez d’éléments pour soutenir cette conclusion, au lieu de prendre une comparaison non concluante pour une preuve ?

Les auteurs modélisent les variations entre essais et dérivent une formule pour planifier les tests d’équivalence entre méthodes d’entraînement stochastiques.

L’article demande comment établir que deux méthodes d’entraînement stochastiques sont assez proches pour être considérées comme équivalentes en pratique, lorsque quelques essais ne montrent aucune différence nette.

Les auteurs proposent de tester une marge fixée à l’avance et de traiter chaque essai entraîné indépendamment comme une unité de preuve.

Ils dérivent une formule pour estimer le nombre d’essais à partir des variations anticipées, puis comparent ses prévisions aux taux de conclusion observés en simulation. Dans la plage pertinente testée, les prévisions sont restées proches de ces taux.

Dans un exemple CIFAR-10 à deux essais, le test n’a pas conclu à l’équivalence ; la formule estimait qu’environ 12 essais par méthode seraient nécessaires pour une puissance de 80% si les méthodes étaient exactement équivalentes.

L’exemple sur CIFAR-10 ne comporte que deux essais par méthode, et la marge a été choisie après coup.

L’estimation d’environ 12 essais par méthode suppose que les méthodes sont exactement équivalentes et repose sur une estimation de variance très incertaine. Elle donne donc un ordre de grandeur, pas une taille d’échantillon certifiée.