Ajustar el límite de la prueba a la afirmación de transferencia

Un clasificador de daños puede obtener una buena puntuación cuando las imágenes de prueba proceden de desastres conocidos, mientras que un desastre nuevo plantea otra prueba. Un modelo que responde preguntas sobre imágenes puede seguir una pista de la escena que conduce a una respuesta equivocada. En el caso de un robot, el resultado es si la orientación visual le ayuda a completar una tarea.

La evidencia resulta útil cuando coinciden el cambio planteado, el límite de la prueba y el resultado medido. Los estudios examinan esos elementos mediante desastres reservados para la prueba, selección de modelos ante pistas engañosas en preguntas objetivo y éxito en tareas robóticas específicas.

Imagina que usamos imágenes satelitales para señalar las parcelas que contienen edificios dañados después de un desastre. Una puntuación obtenida al dividir las imágenes al azar parece pertinente, pero las imágenes del mismo huracán o terremoto pueden acabar tanto en el conjunto de entrenamiento como en el de prueba.

Pueden compartir ubicación geográfica, características del sensor y la proporción típica de parcelas dañadas en ese suceso. La pregunta práctica es si un clasificador entrenado con desastres conocidos puede clasificar parcelas de un desastre que nunca ha visto. Para responderla, hay que trazar el límite alrededor del suceso, no entre sus imágenes.

El mismo problema aparece en otros sistemas visuales, aunque cambia el resultado que se mide. Un modelo que responde preguntas sobre imágenes puede dejarse influir por objetos cercanos que suelen aparecer junto al objeto consultado.

Una política robótica puede reconocer una escena y, aun así, no colocar un objeto donde se le indicó. Una puntuación de respuestas no puede sustituir la evaluación de tareas robóticas completadas, y la puntuación de tareas de un robot no describe su rendimiento ante desastres inéditos.

Cada resultado necesita su propia descripción de las condiciones evaluadas y de la conducta contabilizada.

Para leer una afirmación de transferencia, conviene identificar tres elementos: el cambio al que se enfrentará el sistema, el límite que la evaluación establece alrededor de ese cambio y el resultado medido más allá del límite.

El estudio sobre desastres cambia qué suceso aparece durante la prueba. El estudio de preguntas y respuestas cambia la frecuencia con que las pistas visuales inducen a error.

El estudio robótico mide tareas de manipulación completadas con una política y una referencia de evaluación específicas. Seguir estas pruebas distintas permite entender por qué una puntuación alta, por sí sola, no indica qué tipo de transferencia se ha demostrado.