IT
I robot possono combinare riuso ed eliminazione dei token per accelerare il controllo visivo
TRIAGE: Efficient Vision-Language-Action Inference Needs Both Reuse and Pruning · arXiv:2610.34519
In parole semplici
Un robot può impiegare molto tempo a elaborare le immagini delle telecamere prima di scegliere un’azione. Saltare alcuni dettagli visivi fa risparmiare tempo, ma scartare dettagli utili o riutilizzare calcoli ormai superati può portare ad azioni peggiori.
Il paper presenta TRIAGE, che decide per ogni dettaglio visivo se ricalcolarlo, riutilizzare un calcolo precedente oppure eliminarlo. Nei test riportati sulle attività robotiche, TRIAGE ha mantenuto il successo medio vicino a quello ottenuto ricalcolando ogni dettaglio, riducendo il tempo di elaborazione dell’input su un computer per robot testato.
La ricerca
Un modello vision-language per robot deve elaborare molti token visivi per scegliere le azioni, e questo può rallentare l’inference a bordo. Saltare token fa risparmiare tempo, ma il pruning può eliminare informazioni utili e riutilizzare un calcolo precedente può fornire informazioni non più aggiornate. Come dovrebbe decidere cosa ricalcolare e cosa fare con il resto?
TRIAGE assegna ogni token visivo a ricalcolo, riuso della cache o pruning, usando importanza e validità della cache per gestire un budget fisso di calcolo.
Gli autori verificano se il drift di un token visivo può indicare quando è meglio riutilizzare il suo stato in cache invece di eliminarlo.
In una diagnosi a livello di token, il riuso con drift basso non è risultato peggiore dell’eliminazione, mentre la soglia del drift dannoso variava tra i due modelli di base testati.
TRIAGE usa questa distinzione insieme all’importanza dei token per distribuire un budget fisso di ricalcolo. Nelle medie riportate per i benchmark, ha mantenuto il successo entro 3 punti percentuali dal ricalcolo completo, riducendo la latenza di elaborazione dell’input su Jetson AGX Orin.
Le valutazioni riguardano due modelli di base vision-language-action e le configurazioni riportate di LIBERO e SimplerEnv.
Gli autori hanno scelto empiricamente i parametri di TRIAGE e affermano che la soglia del drift potrebbe richiedere una nuova calibrazione con un modello di base, un’attività o una velocità della scena diversi.
Cosa mostrano le prove
- Il costo dell’input visivo
TRIAGE è un metodo di inference senza training per modelli vision-language-action, che usano immagini delle telecamere e istruzioni in linguaggio per produrre azioni robotiche. Il paper affronta un problema specifico di velocità: i token visivi costituiscono gran parte dell’input e elaborarli a ogni passo di controllo può rallentare l’inference sul computer a bordo del robot.
Saltare token riduce i calcoli, ma il modello deve decidere cosa fare con ciascun token che non ricalcola.
- Quando serve riutilizzare i vecchi calcoli
Gli autori chiedono se la variazione di un token dall’ultimo calcolo possa indicare se il suo stato salvato nella cache è ancora utile. Confrontano riuso ed eliminazione sugli stessi token esaminati, ricalcolando tutti gli altri, e valutano entrambe le opzioni rispetto alle azioni ottenute con il ricalcolo completo.
In questa diagnosi, il riuso con drift basso non è risultato peggiore dell’eliminazione, mentre un drift alto poteva produrre un errore dell’azione molto maggiore. La soglia del drift variava tra i due modelli di base testati.
- Come TRIAGE assegna i token
TRIAGE traduce questa distinzione in tre scelte. Usa l’importanza per assegnare un budget fisso di ricalcolo ai token importanti con stati in cache non validi.
Per gli altri token, riutilizza la cache se il drift è sotto la soglia e la cache non è troppo vecchia; altrimenti elimina il token. Il confronto degli autori tra varianti con lo stesso budget su LIBERO-Object, un test di manipolazione robotica che misura il successo degli episodi, mostra il valore di combinare riuso ed eliminazione in quella configurazione.
- Risultati e limiti delle evidenze
Con 18 token ricalcolati per query su LIBERO-Object, TRIAGE ha avuto successo nel 75.8% di 500 episodi, contro il 22.4% quando tutti i token rimanenti venivano eliminati e lo 0.0% quando venivano tutti riutilizzati. Nelle medie più ampie riportate, il tasso di successo di TRIAGE è rimasto entro 3 punti percentuali dal ricalcolo completo, riducendo la latenza di elaborazione dell’input fino al 48% su Jetson AGX Orin.
Su SimplerEnv, gli autori hanno inoltre trasferito i parametri senza modificarli e hanno rilevato un successo medio vicino a quello del ricalcolo completo.
Dettagli
- Autori del paper originale
- Sooyoung Kwon, Carlee Joe-Wong, Kyunghan Lee
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive