Un modèle relie compréhension des scènes de conduite et reconstruction 3D

Un modèle de scène de conduite peut-il utiliser les mêmes vidéos de caméra pour repérer les objets et l’espace occupé, puis reconstruire l’apparence de la scène, sans combiner toutes les vues et tous les instants dans une seule opération coûteuse ? L’article teste un modèle partagé pour répondre à ces besoins liés.

Foundation4D partage des représentations issues de vidéos de conduite prises par plusieurs caméras pour la perception et la reconstruction de scènes, puis aligne les sorties de séquences en trajectoires plus longues.

Les chercheurs comparent des combinaisons de tâches issues de la même initialisation, avec les mêmes quatre caméras et 80,000 mises à jour d’entraînement. Lors de l’évaluation de la détection, l’ajout de la géométrie et de l’occupation a fait passer la mAP de la catégorie la mieux classée de 40,94 % à 42,14 %.

Lors d’une évaluation distincte de l’occupation, la géométrie associée à l’occupation a obtenu un score supérieur à la configuration qui incluait aussi la détection.

Ces résultats montrent que l’entraînement partagé peut aider une tâche sans améliorer toutes les tâches dans les combinaisons testées. Une autre évaluation, après un entraînement supplémentaire, a également relevé des scores de chevauchement de l’occupation supérieurs à ceux de la meilleure méthode de référence présentée.

Les résultats sur la combinaison des tâches proviennent d’une étude avec quatre caméras et des jeux précis d’entraînement et de validation ; les chercheurs n’établissent pas que cette tendance se retrouve dans tous les contextes.

Ils ajoutent aussi la reconstruction par gaussiennes après le préentraînement en perception : l’article ne teste donc pas l’entraînement conjoint des deux tâches dès le départ.