Las puntuaciones de daños bajan al dejar fuera un desastre completo
En palabras sencillas
Un modelo puede parecer bueno para detectar daños de desastres si se evalúa con teselas de desastres que ya ha visto. Este artículo audita las características de imagen de cuatro modelos para comprobar si permiten predecir daños en un desastre que se dejó fuera del entrenamiento.
Los investigadores encontraron que las puntuaciones medias bajaron al evaluar un desastre completo que el modelo no había visto, en dos colecciones de imágenes. En estas pruebas, las puntuaciones obtenidas con desastres conocidos no mostraban lo bien que los modelos se transferían a eventos nuevos.
La investigación
Cuando un modelo predice daños en teselas de desastres que ya ha visto, ¿reconoce evidencia que también servirá para un evento nuevo?
Las teselas de un desastre pueden compartir geografía, sensores, densidad de edificios y prevalencia de daños, por lo que una división aleatoria puede hacer que la evaluación parezca más fácil al incluir pistas de eventos conocidos.
El artículo audita representaciones fijas de imágenes geoespaciales entre eventos de desastre y luego prueba cambios en las características ajustados solo con los datos de origen para predecir daños en un evento no visto.
La pregunta es si las puntuaciones altas en desastres conocidos reflejan evidencia de daños que se transfiere a un evento nuevo. Las teselas de un mismo desastre pueden compartir pistas de la escena y del evento, así que una división aleatoria de teselas quizá no responda a esa pregunta.
Los autores comparan divisiones aleatorias con pruebas que reservan un evento completo. Para las características del par completo, la exactitud equilibrada media —el promedio de la capacidad para identificar teselas dañadas y no dañadas— baja de 0.807 a 0.638 en xView2 y de 0.818 a 0.568 en BRIGHT.
Esto respalda la conclusión de que, en estas pruebas, las puntuaciones con eventos conocidos sobrestiman el rendimiento en eventos nuevos.
Los resultados se refieren a etiquetas de daño por tesela y a los procesos de análisis de imágenes evaluados.
Los autores dejan para futuras evaluaciones la gravedad del daño a nivel de edificio y el uso de entradas nativas de los sensores; estos hallazgos no establecen la fiabilidad en otros datos o tareas.
Análisis
Detalles
- Autores
- Ali Shibli, Andrea Nascetti, Yifang Ban
- Licencia
- arXiv non-exclusive