Un método para calcular ejecuciones y probar equivalencia

Cuando unas pocas ejecuciones de entrenamiento no muestran una diferencia clara, los investigadores aún no pueden saber si dos métodos son equivalentes en términos prácticos.

¿Cuántas ejecuciones independientes darían evidencia suficiente para sostener esa afirmación, en vez de confundir una comparación inconclusa con una prueba?

Los autores modelan la variación entre ejecuciones y derivan una fórmula para planificar pruebas de equivalencia entre métodos de entrenamiento estocásticos.

El artículo pregunta cómo pueden establecer los investigadores que dos métodos de entrenamiento estocásticos son suficientemente parecidos para considerarlos equivalentes en la práctica cuando unas pocas ejecuciones no muestran una diferencia clara.

Los autores proponen probar un margen fijado de antemano y tratar cada ejecución de entrenamiento independiente como una unidad de evidencia.

Derivan una fórmula para calcular el número de ejecuciones a partir de la variación prevista y comparan sus predicciones con tasas de certificación simuladas. Dentro del intervalo probado y pertinente para el diseño, las predicciones se mantuvieron cerca de esas tasas.

En un ejemplo de CIFAR-10 con dos ejecuciones, la prueba no certificó equivalencia; la fórmula estimó unas 12 ejecuciones por método para alcanzar una potencia del 80% si los métodos fueran exactamente iguales.

El ejemplo de CIFAR-10 solo tuvo dos ejecuciones por método y el margen se eligió retrospectivamente.

La estimación de unas 12 ejecuciones por método supone que los métodos son exactamente iguales y se basa en una estimación de varianza muy incierta; por eso sirve como orientación del orden de magnitud, no como tamaño de muestra certificado.