Un modello collega la comprensione delle scene stradali alla ricostruzione 3D

Un modello per le scene stradali può usare lo stesso video delle telecamere per identificare oggetti e spazio occupato, poi ricostruire l'aspetto della scena, senza combinare tutte le immagini e tutti gli istanti in un'unica operazione costosa? Il paper esamina un modello condiviso per queste esigenze collegate.

Foundation4D condivide le caratteristiche video di più telecamere tra percezione e ricostruzione delle scene di guida, poi allinea gli output delle finestre in tracce di scena più lunghe.

I ricercatori confrontano combinazioni di attività con la stessa inizializzazione, le stesse quattro telecamere e 80,000 aggiornamenti di addestramento. Nella prova di rilevamento, aggiungere geometria e occupazione ha aumentato la mAP delle classi principali dal 40.94% al 42.14%.

In una prova distinta di occupazione, la configurazione con geometria e occupazione ha ottenuto un punteggio più alto di quella che includeva anche il rilevamento.

Questi risultati indicano che l'addestramento condiviso può aiutare un'attività senza migliorare tutte le attività nelle combinazioni testate.

Un'altra prova, condotta dopo ulteriore addestramento, ha rilevato anche punteggi di sovrapposizione dell'occupazione più alti rispetto alla baseline più forte riportata.

I risultati sulla combinazione di attività derivano da uno studio con quattro telecamere e specifici insiemi di addestramento e validazione; i ricercatori non dimostrano che lo schema valga in ogni contesto.

Inoltre, hanno introdotto la ricostruzione gaussiana dopo il pretraining percettivo, quindi il paper non verifica l'addestramento congiunto dei due componenti fin dall'inizio.