Un modelo conecta la comprensión de escenas de conducción con la reconstrucción 3D

¿Puede un modelo de escenas de conducción usar el mismo video de cámara para identificar objetos y espacio ocupado y luego reconstruir el aspecto de la escena, sin combinar todas las vistas y momentos en una única operación costosa? El artículo evalúa un modelo compartido para estas necesidades relacionadas.

Foundation4D comparte representaciones de video de varias cámaras entre la percepción de escenas de conducción y su reconstrucción, y luego alinea las salidas de cada ventana para formar trayectorias de escena más largas.

Los investigadores comparan combinaciones de tareas con la misma inicialización, las mismas cuatro cámaras y 80,000 actualizaciones de entrenamiento.

En la prueba de detección, añadir geometría y ocupación elevó la mAP de las clases principales de 40.94% a 42.14%. En una prueba independiente de ocupación, la configuración con geometría y ocupación obtuvo una puntuación más alta que la que también incluía detección.

Estos resultados muestran que el entrenamiento compartido puede ayudar a una tarea sin mejorar todas las tareas en las combinaciones evaluadas.

En otra prueba, después de seguir entrenando el modelo, también se observaron puntuaciones de superposición de ocupación superiores a las de la referencia más sólida de la lista.

Los resultados sobre la combinación de tareas proceden de un estudio con cuatro cámaras y conjuntos específicos de entrenamiento y validación; los investigadores no establecen que el patrón se mantenga en todos los contextos.

Además, incorporan la reconstrucción con Gaussianas después del preentrenamiento de percepción, por lo que el artículo no evalúa el entrenamiento conjunto de ambas desde el inicio.