ES
Un codificador visual conecta estado de escena, lenguaje y detalle de imagen
ALPS: Visual State Encoders for World Models · arXiv:2610.30120
En palabras sencillas
Un modelo del mundo predice cómo cambiará una escena cuando actúe un robot. El artículo presenta ALPS, un codificador de imágenes para modelos del mundo que busca indicar dónde están los objetos, relacionar imágenes con lenguaje y conservar detalles que puedan reconstruirse como píxeles.
Aprende de imágenes fijas y texto, y luego practica la correspondencia entre características de distintas versiones de una imagen. En pruebas simuladas de manipulación de objetos, una sonda basada en las características de ALPS estimó las posiciones con menor error promedio que las sondas basadas en otros codificadores ViT-B evaluados. Un codificador más grande igualó ese promedio.
La investigación
Los modelos del mundo predicen cómo cambia una escena después de ciertas acciones, así que sus características visuales deben captar la ubicación y el estado de los objetos.
¿Puede un solo codificador congelado también relacionar esas escenas con el lenguaje y conservar suficiente detalle para reconstruir píxeles, en lugar de depender de representaciones especializadas en solo una parte de la tarea?
ALPS aprende características visuales compartidas para representar el estado de los objetos, relacionarlas con lenguaje y reconstruir píxeles, y luego las refina entre distintas vistas para modelos del mundo.
¿Puede un codificador de imágenes congelado representar el estado de los objetos, relacionar escenas con lenguaje y conservar detalles para reconstruirlas?
Los codificadores existentes suelen cubrir solo algunas de estas capacidades, lo que dificulta que los modelos del mundo usen una única representación en distintas tareas.
ALPS aprende características visuales compartidas para lenguaje, reconstrucción y relaciones espaciales, y luego las refina entre vistas alteradas. En pruebas simuladas de manipulación de objetos de LIBERO, una sonda basada en sus características congeladas tuvo menor error promedio de posición que las sondas basadas en otros codificadores ViT-B evaluados. Otra evaluación de políticas también encontró buenos resultados de control.
Estos resultados proceden de un codificador ViT-B/16 y de tareas simuladas; las pruebas de control y de planificación con modelos del mundo se realizaron por separado.
No muestran cómo funcionaría ALPS en un robot real ni en un sistema que combine lenguaje, planificación y reconstrucción de imágenes.
Qué muestran las pruebas
- Un codificador, tres capacidades
ALPS es un codificador visual preentrenado para modelos del mundo, que predicen cómo cambia una escena después de acciones y usan esas predicciones para planificar. La investigación pregunta si una sola representación de imagen congelada puede mostrar el estado de los objetos, relacionar escenas con lenguaje y conservar detalles para reconstruir píxeles.
Los codificadores existentes suelen cubrir solo algunas de estas capacidades; la pregunta es si pueden reunirse en un mismo conjunto de características visuales.
- Aprender características visuales compartidas
Primero, ALPS aprende características visuales compartidas a partir de imágenes fijas y texto, con objetivos de lenguaje, reconstrucción y relaciones espaciales. Después, refina el codificador de imágenes para que prediga características correspondientes entre vistas con recortes y alteraciones diferentes, guiado por un codificador congelado de la primera etapa.
El objetivo de este entrenamiento en dos etapas es reforzar la información sobre el estado de la escena y conservar las funciones de lenguaje y de detalle visual.
- Qué información contienen las características
Los investigadores probaron codificadores congelados en LIBERO, un conjunto de demostraciones simuladas de manipulación de objetos. Una sonda estima posiciones a partir de fotogramas observados o predice posiciones futuras al recibir acciones del robot; su error relativo compara las estimaciones con las posiciones del simulador y se expresa en relación con el resultado de ALPS en la primera etapa, por lo que un valor menor es mejor.
Como promedio de dos conjuntos de tareas y tres configuraciones, ALPS obtuvo el menor error entre los codificadores ViT-B comparados. Un codificador más grande igualó ese promedio.
- Refinamiento y pruebas posteriores
Comparar ALPS antes y después de la segunda etapa de entrenamiento permite evaluar qué aportó el refinamiento. En las mismas seis configuraciones de la sonda, redujo en un 17% el error promedio al estimar estados, mientras que las puntuaciones de recuperación de texto a partir de imágenes cambiaron como máximo 0,5 puntos porcentuales en los conjuntos de datos informados.
En otra evaluación, las políticas que usaron las características visuales congeladas de ALPS y su propio codificador de texto tuvieron la mayor tasa media de éxito en cuatro conjuntos simulados de LIBERO. Los resultados respaldan varias capacidades, aunque el rendimiento depende de la tarea.
Detalles
- Autores del paper original
- Yanqing Liu, Letian Zhang, Chengzhi Liu, Zijun Wang, Jieru Mei
- Enviado a arXiv
- Licencia
- arXiv non-exclusive