FPGA à charge fixe : deux étapes d’occupation bornées, pas toute la chaîne
En termes simples
Un système d’occupation fondé sur des caméras indique quelles zones de l’espace en 3D autour d’un véhicule sont libres ou occupées. Les auteurs ont construit FALCON, un module amont pour cette tâche sur une puce embarquée programmable, appelée FPGA.
Deux opérations liées à la géométrie des caméras y effectuent toujours une quantité fixe de calcul. Un mécanisme de surveillance peut envoyer une prédiction plus ancienne, signalée comme périmée, si une image arrive en retard.
Dans trois essais de 100 000 images simplifiées chacun, toutes les sorties sont arrivées en 100 ms, avec au plus 10,2 ms de délai supplémentaire. Le système complet d’occupation était beaucoup plus lent : ce résultat ne montre donc pas qu’il respecte cette échéance.
La recherche
Pour la perception de l’occupation à partir de caméras, une faible latence moyenne peut masquer des images qui arrivent trop tard pour éclairer un freinage. On ne sait pas encore clairement si un système déployé peut rendre une partie de ses calculs prévisible tout en livrant des sorties lorsque le temps d’inférence brut varie.
Cette question compte ici parce que le respect de l’échéance et la qualité de la prédiction d’occupation sont deux propriétés distinctes.
FALCON confie deux opérations à géométrie fixe à un FPGA dont le nombre de cycles est borné, et utilise un mécanisme de surveillance pour livrer une sortie, quitte à reprendre une prédiction antérieure signalée comme périmée.
La carte obtient une mIoU de 29,88 sur l’ensemble de validation Occ3D-nuScenes, contre 31,43 pour une simulation correspondant à sa configuration INT8 déployée. Ce score mesure le recouvrement entre l’espace prédit comme occupé et celui annoté.
Par ailleurs, lors de trois essais de 100 000 images, le mécanisme de surveillance a livré toutes les sorties en 100 ms, avec au plus 10,2 ms de délai supplémentaire, pour une charge fixe simulée comportant six inférences.
La comparaison des scores montre un faible écart avec la référence correspondante, tandis que les essais simulés montrent que les sorties tardives peuvent tout de même être livrées dans une enveloppe mesurée. Aucun des deux résultats ne borne le temps d’inférence du réseau complet : si une image est en retard, le mécanisme de surveillance peut envoyer une prédiction antérieure signalée comme périmée.
Le résultat de livraison en 100 ms provient d’un test avec une charge de travail fixe, et non de toute la chaîne de traitement de l’occupation, qui prend environ 1,3 seconde par image sur la carte. L’étude rejoue des données sur le matériel, sans tester un véhicule en mouvement.
En cas d’image en retard, le système peut réutiliser une prédiction antérieure signalée comme périmée, qui risque de ne pas représenter un objet apparu pour la première fois dans cette image.
Analyse
Détails
- Auteurs de l’article original
- Haohua Que, Mingkai Liu, Handong Yao
- Soumis à arXiv
- Licence
- arXiv non-exclusive