FR
Les robots peuvent accélérer le contrôle visuel en combinant réutilisation et élagage des tokens
TRIAGE: Efficient Vision-Language-Action Inference Needs Both Reuse and Pruning · arXiv:2610.34519
En termes simples
Un robot peut passer beaucoup de temps à traiter les images de sa caméra avant de choisir une action. Ignorer certains détails de l’image fait gagner du temps, mais supprimer des détails utiles ou réutiliser des calculs devenus obsolètes peut conduire à de moins bonnes actions.
L’article présente TRIAGE, une méthode qui décide pour chaque détail visuel s’il faut le recalculer, réutiliser un calcul antérieur ou le supprimer. Dans les tests de tâches robotiques rapportés, elle a maintenu un taux de réussite moyen proche de celui obtenu en recalculant chaque détail, tout en réduisant le temps de traitement de l’entrée sur un ordinateur embarqué testé.
La recherche
Un modèle vision-langage pour robot doit traiter de nombreux tokens visuels pour choisir ses actions, ce qui peut ralentir l’inférence à bord. Ignorer certains tokens peut faire gagner du temps, mais l’élagage risque de supprimer des informations utiles et la réutilisation d’un ancien calcul peut fournir des informations périmées au modèle. Comment décider quoi recalculer et quoi faire des autres tokens ?
TRIAGE affecte chaque token visuel au recalcul, à la réutilisation du cache ou à l’élagage, en s’appuyant sur l’importance et la validité du cache pour répartir un budget de calcul fixe.
Les auteurs vérifient si le drift d’un token visuel peut indiquer quand il vaut mieux réutiliser son état en cache que l’élaguer. Dans un diagnostic au niveau des tokens, la réutilisation à faible drift ne faisait pas moins bien que l’élagage, tandis que le seuil de drift nuisible variait entre les deux modèles de base testés.
TRIAGE s’appuie sur cette distinction et sur l’importance des tokens pour répartir un budget fixe de recalcul.
Dans les moyennes des benchmarks rapportées, son taux de réussite est resté à moins de 3 points de pourcentage du recalcul complet, tandis que la latence de traitement de l’entrée diminuait sur un Jetson AGX Orin.
Les évaluations portent sur deux modèles de base vision-langage-action et sur les configurations rapportées de LIBERO et SimplerEnv. Les paramètres de TRIAGE ont été choisis empiriquement.
Selon les auteurs, le seuil de drift pourrait devoir être recalibré pour un autre modèle de base, une autre tâche ou une autre vitesse de scène.
Ce que montrent les preuves
- Le coût de l’entrée visuelle
TRIAGE est une méthode d’inférence sans entraînement pour les modèles vision-langage-action, qui utilisent des images de caméra et des consignes en langage pour produire des actions de robot. L’article s’attaque à un problème précis de vitesse : les tokens visuels constituent la majeure partie de l’entrée, et les traiter à chaque étape de contrôle peut ralentir l’inférence sur un ordinateur embarqué.
Ignorer certains tokens économise des calculs, mais le modèle doit décider quoi faire de chacun de ceux qu’il ne recalcule pas.
- Quand les anciens calculs restent utiles
Les auteurs cherchent à savoir si le changement d’un token depuis son dernier calcul indique que son état en cache reste utile. Ils comparent la réutilisation et l’élagage sur les mêmes tokens ciblés, en recalculant tous les autres, et évaluent les deux options par rapport aux actions obtenues avec un recalcul complet.
Dans ce diagnostic, réutiliser des tokens à faible drift ne faisait pas moins bien que les élaguer, tandis qu’une réutilisation à drift élevé pouvait produire une erreur d’action nettement plus importante. Le seuil de drift variait entre les deux modèles de base testés.
- Comment TRIAGE affecte les tokens
TRIAGE transforme cette distinction en trois options. La méthode utilise l’importance pour affecter un budget fixe de recalcul aux tokens importants dont l’état en cache n’est pas valide.
Pour les autres, elle réutilise le cache si le drift du token est sous le seuil et si le cache n’est pas trop ancien ; sinon, elle élague le token. La comparaison par les auteurs de variantes ayant le même budget sur LIBERO-Object, un test de manipulation robotique mesurant la réussite des épisodes, illustre l’intérêt de combiner réutilisation et élagage dans cette configuration.
- Résultats et limites de leur portée
Avec 18 tokens recalculés par requête sur LIBERO-Object, TRIAGE a réussi dans 75.8% des 500 épisodes, contre 22.4% lorsque tous les tokens restants étaient élagués et 0.0% lorsqu’ils étaient tous réutilisés. Dans les moyennes plus larges rapportées, son taux de réussite est resté à moins de 3 points de pourcentage du recalcul complet, tandis que la latence de traitement de l’entrée diminuait de jusqu’à 48% sur un Jetson AGX Orin.
Sur SimplerEnv, les auteurs ont également repris les paramètres sans les réajuster et constaté un taux de réussite moyen proche de celui du recalcul complet.
Détails
- Auteurs de l’article original
- Sooyoung Kwon, Carlee Joe-Wong, Kyunghan Lee
- Soumis à arXiv
- Licence
- arXiv non-exclusive