FPGA a lavoro fisso: tempi definiti per due operazioni, non per l’intera pipeline
In parole semplici
Un sistema di occupancy basato su telecamere indica quali parti dello spazio 3D intorno a un veicolo sono libere o occupate. Gli autori hanno realizzato FALCON, un sistema iniziale per questo compito eseguito su un chip programmabile embedded.
Due passaggi che usano la geometria delle telecamere vengono spostati su hardware che svolge sempre una quantità fissa di lavoro; se un frame arriva tardi, un watchdog può inviare una previsione precedente, segnalando che è obsoleta.
In tre prove da 100,000 frame semplificati ciascuna, ogni risultato è arrivato entro 100 ms più un ritardo massimo di 10.2 ms. Il sistema completo di occupancy era molto più lento, quindi questo risultato non dimostra che rispetti quella scadenza.
La ricerca
Nella percezione dell’occupancy basata su telecamere, una latenza media bassa può nascondere frame che arrivano troppo tardi per aiutare la frenata. Resta da capire se un sistema eseguito su hardware possa rendere prevedibile una parte del calcolo e continuare a consegnare risultati quando i tempi grezzi di inference variano.
Qui la distinzione conta perché rispettare la scadenza di consegna e mantenere la qualità della previsione di occupancy sono due proprietà separate.
FALCON esegue due operazioni con geometria fissa su FPGA, con tempi di calcolo delimitati dai cicli, e usa un watchdog per consegnare un risultato anche riutilizzando una previsione precedente segnalata come obsoleta.
La scheda ha ottenuto 29.88 mIoU sull’intero set di validazione Occ3D-nuScenes, rispetto a 31.43 di una simulazione corrispondente alla configurazione INT8 eseguita sulla scheda.
Il punteggio misura la sovrapposizione tra lo spazio previsto come occupato e quello annotato. Separatamente, in tre prove da 100,000 frame di un carico semplificato a lavoro fisso con sei inference per frame, il watchdog ha consegnato ogni risultato entro 100 ms più un ritardo massimo di 10.2 ms.
Il confronto dei punteggi mostra una differenza contenuta rispetto al riferimento corrispondente; le prove semplificate mostrano che gli output in ritardo possono comunque essere consegnati entro un intervallo misurato.
Nessuno dei due risultati delimita il tempo di inference della rete completa: se un frame arriva in ritardo, il watchdog può inviare una previsione precedente contrassegnata come obsoleta.
Il risultato di consegna entro 100 ms proviene da un carico semplificato a lavoro fisso, non dall’intera pipeline di occupancy, che sulla scheda richiede circa 1.3 secondi per frame.
Lo studio riproduce dati su hardware, senza testare un veicolo in movimento; inoltre, se un frame arriva in ritardo, il fallback può non rilevare un oggetto comparso per la prima volta proprio in quel frame.
Analisi
Dettagli
- Autori del paper originale
- Haohua Que, Mingkai Liu, Handong Yao
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive