La FPGA acota dos pasos de ocupación, no toda la canalización

En la percepción de ocupación basada en cámaras, una latencia media baja puede ocultar fotogramas que llegan demasiado tarde para ayudar a frenar. Sigue sin estar claro si un sistema desplegado puede hacer predecible una parte de su cómputo y, aun así, entregar salidas cuando varía el tiempo bruto de inferencia.

La pregunta importa aquí porque la garantía de plazo y la calidad de la predicción de ocupación son propiedades distintas.

FALCON traslada dos operaciones de geometría fija a una FPGA con límites de ciclos y usa un watchdog para entregar una salida, aunque tenga que reutilizar una predicción anterior marcada como desactualizada.

La placa obtuvo 29.88 mIoU en el conjunto completo de validación Occ3D-nuScenes, frente a 31.43 de una simulación equivalente a su configuración INT8 desplegada.

Esta puntuación mide el solapamiento entre el espacio ocupado predicho y el anotado. Por separado, un watchdog entregó todas las salidas en tres ejecuciones de 100,000 fotogramas de una aproximación de trabajo fijo con seis inferencias dentro de 100 ms más un máximo de 10.2 ms.

La comparación de puntuaciones muestra una diferencia pequeña frente a la referencia equivalente, mientras que las pruebas de aproximación muestran que las salidas tardías aún pueden entregarse dentro de un intervalo medido.

Ninguno de estos resultados acota el tiempo de inferencia de la red completa: si un fotograma llega tarde, el watchdog puede enviar una predicción anterior marcada como desactualizada.

El resultado de entrega en 100 ms procede de una carga de trabajo fija usada como aproximación, no de toda la canalización de ocupación, que tarda cerca de 1.3 segundos por fotograma en la placa.

El estudio reproduce datos en el hardware, en vez de probar un vehículo en movimiento; además, si un fotograma llega tarde, la alternativa puede no detectar un objeto que aparezca por primera vez en ese fotograma.