Un método adapta las vistas de cámara a las acciones del robot

Un robot puede necesitar una vista lejana para planear hacia dónde moverse y una vista cercana para agarrar o alinear un objeto. No está claro si una política puede cambiar cómo usa las cámaras a medida que cambian esas necesidades, en vez de aferrarse a una preferencia inicial.

FocusVLA predice la intención de acciones futuras y la usa para seleccionar la información de cámara global y local en cada próxima acción del robot.

Durante una tarea de manipulación, las necesidades visuales de un robot pueden pasar de localizar un objetivo a agarrarlo y alinearlo de cerca.

¿Puede una política adaptar la información de cámara que usa a medida que cambian esas necesidades, en vez de mantener una preferencia inicial por una vista?

FocusVLA predice la intención de acciones futuras y selecciona vistas globales y locales para cada próximo paso. En 50 tareas simuladas, los autores reportan un éxito promedio del 76.92%, frente al 66.82% de π0.5, con los mismos datos y protocolos de evaluación indicados.

Esto respalda un éxito promedio mayor en esa evaluación de simulación, no una superioridad en todas las tareas.

Los resultados abarcan las tareas de simulación de RoboTwin evaluadas y seis tareas del mundo real con la configuración de cámaras descrita.

El artículo deja para trabajos futuros las distribuciones de cámaras no vistas y los robots con distintas configuraciones físicas; por tanto, estas evaluaciones no establecen que el método se generalice a esos escenarios.