ES
Los robots pueden combinar reutilización y descarte de tokens para acelerar el control visual y lingüístico
TRIAGE: Efficient Vision-Language-Action Inference Needs Both Reuse and Pruning · arXiv:2610.34519
En palabras sencillas
Un robot puede tardar mucho en procesar las imágenes de sus cámaras antes de elegir una acción. Saltarse algunos detalles de la imagen ahorra tiempo, pero descartar detalles útiles o reutilizar cálculos desactualizados puede llevar a peores acciones.
El artículo presenta TRIAGE, que decide para cada detalle visual si debe volver a calcularlo, reutilizar un cálculo anterior o descartarlo. En las pruebas de tareas robóticas reportadas, TRIAGE mantuvo el éxito promedio cerca del obtenido al recalcular todos los detalles y redujo el tiempo de procesamiento de la entrada en una computadora robótica evaluada.
La investigación
El modelo de visión y lenguaje de un robot debe procesar muchos tokens visuales para elegir acciones, lo que puede ralentizar la inferencia a bordo. Saltarse tokens puede ahorrar tiempo, pero descartarlos quizá elimine información útil y reutilizar un cálculo antiguo puede darle información desactualizada al modelo. ¿Cómo debería decidir qué volver a calcular y qué hacer con los demás?
TRIAGE asigna cada token visual a recálculo, reutilización desde la caché o descarte, y usa la importancia y la validez de la caché para administrar un presupuesto fijo de cálculo.
Los autores evalúan si el drift de un token visual puede indicar cuándo conviene reutilizar su estado almacenado en caché en lugar de descartarlo.
En un diagnóstico a nivel de token, reutilizar tokens con poco drift no fue peor que descartarlos, mientras que el umbral de drift perjudicial variaba entre los dos modelos base evaluados.
TRIAGE combina esa distinción con la importancia de cada token para distribuir un presupuesto fijo de recálculo.
En los promedios reportados de las pruebas, mantuvo el éxito a menos de 3 puntos porcentuales del recálculo completo y redujo la latencia de procesamiento de la entrada en un Jetson AGX Orin.
Las evaluaciones abarcan dos modelos de visión, lenguaje y acción, y las configuraciones reportadas de LIBERO y SimplerEnv.
Los parámetros de TRIAGE se eligieron empíricamente, y los autores indican que el umbral de drift quizá deba recalibrarse para otro modelo base, otra tarea o una velocidad distinta de la escena.
Qué muestran las pruebas
- El costo de la entrada visual
TRIAGE es un método de inferencia que no requiere entrenamiento para modelos de visión, lenguaje y acción, que usan imágenes de cámaras e instrucciones en lenguaje para producir acciones robóticas. El artículo aborda un problema concreto de velocidad: los tokens visuales constituyen la mayor parte de la entrada y procesarlos en cada paso de control puede ralentizar la inferencia en una computadora a bordo del robot.
Saltarse tokens ahorra cálculo, pero el modelo debe decidir qué hacer con cada token que no vuelve a calcular.
- Cuándo ayudan los cálculos anteriores
Los autores preguntan si el cambio de un token desde su último cálculo puede indicar si su estado almacenado en caché sigue siendo útil. Comparan la reutilización y el descarte en los mismos tokens examinados, mientras vuelven a calcular todos los demás, y evalúan ambas opciones frente a las acciones obtenidas al recalcular todo.
En este diagnóstico, reutilizar tokens con poco drift no fue peor que descartarlos, mientras que reutilizar tokens con mucho drift podía producir bastante más error de acción. El umbral de drift variaba entre los dos modelos base evaluados.
- Cómo asigna TRIAGE los tokens
TRIAGE convierte esa diferencia en tres opciones. Usa la importancia para dedicar un presupuesto fijo de recálculo a los tokens importantes cuyos estados almacenados ya no son válidos.
Para los demás tokens, reutiliza la caché si el drift está por debajo del umbral y la caché no es demasiado antigua; de lo contrario, descarta el token. La comparación de los autores entre variantes con el mismo presupuesto en LIBERO-Object, una prueba de manipulación robótica que mide el éxito por episodio, muestra el valor de combinar reutilización y descarte en esa configuración.
- La evidencia y sus límites
Con 18 tokens recalculados por consulta en LIBERO-Object, TRIAGE tuvo éxito en el 75.8% de 500 episodios, frente al 22.4% cuando se descartaban todos los tokens restantes y al 0.0% cuando se reutilizaban todos. En los promedios más amplios reportados, TRIAGE se mantuvo a menos de 3 puntos porcentuales del recálculo completo en la tasa de éxito y redujo hasta un 48% la latencia de procesamiento de la entrada en un Jetson AGX Orin.
En SimplerEnv, los autores también aplicaron los parámetros sin reajustarlos y observaron un éxito promedio cercano al del recálculo completo.
Detalles
- Autores del paper original
- Sooyoung Kwon, Carlee Joe-Wong, Kyunghan Lee
- Enviado a arXiv
- Licencia
- arXiv non-exclusive