Il punteggio di comfort di un test di guida può premiare chi resta fermo
In parole semplici
Questo articolo verifica se un test di guida in simulatore rappresenta in modo equo il comportamento dei modelli. Il punteggio di comfort contava i momenti confortevoli in base al tempo, quindi un veicolo poteva ottenere punti anche restando fermo.
Gli autori hanno corretto il modo in cui veniva misurato il movimento e hanno calcolato il comfort in base alla distanza. Tra otto modelli, il punteggio corretto non era più associato al tempo trascorso fermi.
L’articolo ha anche rilevato che la sterzata del controller e le indicazioni sul percorso modificavano i risultati di due modelli; queste conclusioni riguardano però test in simulatore, non la guida su strada.
La ricerca
Quando un test in simulatore indica che un modello di guida è più confortevole di un altro, il risultato riflette un movimento più fluido o semplicemente più tempo trascorso fermi?
Il punteggio basato sul tempo e il controller di Bench2Drive possono influenzare ciò che viene misurato; lo studio verifica quindi se correggere questi aspetti cambi l’interpretazione.
Gli autori correggono il punteggio di comfort e gli input di navigazione di Bench2Drive per verificare se il test rappresenta fedelmente il comportamento di guida.
Bench2Drive è un test di guida simulata in cui i modelli agiscono su un percorso che cambia; il suo punteggio di comfort dovrebbe rappresentare la fluidità della guida. Gli autori hanno rilevato che il punteggio originale aumentava con il tempo trascorso fermi, perciò hanno corretto i calcoli dei segnali e hanno valutato il comfort in base alla distanza.
Tra otto modelli, il legame con il tempo trascorso fermi è quasi scomparso e, dopo aver tenuto conto della velocità, il comfort non seguiva più il punteggio di guida.
Separatamente, i test su UniAD e VAD hanno mostrato che il controller del test e il punto del percorso fornito al modello possono cambiare i risultati.
Le correzioni degli autori hanno avuto effetti diversi sui due modelli, indicando che i dettagli del protocollo possono influenzare le prestazioni apparenti.
I risultati provengono da test in simulatore. L’analisi del comfort riguarda otto modelli; i test su sterzata e target point riguardano UniAD e VAD su un sottoinsieme di sviluppo di 10 percorsi.
Gli autori non hanno verificato i dati di addestramento degli altri sei modelli per individuare eventuali discrepanze nei target point.
Analisi
Dettagli
- Autori del paper originale
- Thomas Schwarzfischer, Emad Aghajanzadeh, Moritz Thoma, Nael Fasfous, Manoj Rohit Vemparala
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive