In parole semplici
Un robot può essere al sicuro in questo momento ma trovarsi comunque, poco dopo, in una situazione da cui non riesce a evitare una collisione. Questo paper presenta SAFTER, un metodo che verifica se il robot potrebbe seguire una manovra di riserva sicura prima di autorizzare un comando, e usa lo stesso controllo mentre apprende la policy di navigazione.
Nelle simulazioni, SAFTER ha raggiunto un obiettivo di successo durante l’addestramento con meno passaggi nell’ambiente rispetto al normale addestramento SAC. Il vantaggio rispetto a un altro metodo di sicurezza è emerso su una mappa modificata in misura media, ma non sulla mappa con la modifica più impegnativa.
La ricerca
Un robot può rispettare un limite di sicurezza immediato e perdere comunque la capacità di evitare una collisione successiva, perché i suoi comandi sono limitati.
Resta da capire se si possa apprendere la navigazione preservando una manovra di recupero sicura, invece di verificare soltanto se ogni comando è sicuro nel momento in cui viene impartito.
SAFTER filtra i comandi di un quadrupede verificando in alcuni istanti una manovra di recupero, e permette alla policy di navigazione di apprendere attraverso lo stesso filtro di sicurezza.
Il paper chiede se una policy di navigazione possa restare in grado di recuperare, invece di limitarsi a superare un controllo di sicurezza immediato.
SAFTER risponde con un filtro che verifica una manovra di riserva e permette alla policy di apprendere tenendo conto dei comandi che il filtro esegue davvero.
Sulle mappe simulate modificate, SAFTER ha superato un metodo comparabile basato su una manovra di riserva su Medium-Shift, ma è rimasto indietro su High-Shift. Il confronto sostiene un vantaggio in una delle configurazioni modificate testate, non un vantaggio uniforme al variare della geometria.
Questi risultati riguardano le mappe di addestramento testate, tre ambienti simulati e due mappe reali. La garanzia formale vale per un modello di sicurezza continuo nel tempo e semplificato; il filtro del robot opera a 10 Hz e verifica la sicurezza della manovra di riserva in alcuni istanti futuri selezionati.
Il teorema, quindi, non certifica il robot completo tra un aggiornamento e l’altro né tiene conto di ostacoli non osservati.
Analisi
Dettagli
- Autori del paper originale
- Benedictus C. G. Cinun, Bin Hu
- Inviato ad arXiv
- Licenza
- CC BY 4.0