ES
La mejora al elegir acciones robóticas depende de cómo se generan las opciones
How Much Can Best-of-N Help a World Action Model? Measuring Selectable Headroom and Realizing It in Closed Loop · arXiv:2610.37196
En palabras sencillas
Un modelo de acción del mundo (WAM) propone un bloque de acciones para un robot y predice cómo se verá la escena después. El artículo pregunta si elegir el mejor de varios bloques propuestos ayuda de verdad o si ese bloque solo pareció el mejor por suerte en lo que hizo el robot después. Los autores vuelven a probar cada opción desde el mismo estado simulado varias veces, la eligen usando algunos resultados y comprueban la elección con uno nuevo.
En tres tareas de RoboCasa, esa comprobación independiente conservó solo una pequeña parte de la mejora sugerida por elegir la mejor ejecución individual.
La investigación
Cuando un modelo de robot considera varios bloques de acciones, ¿la mejor opción observada es realmente mejor de forma fiable o solo tuvo suerte con lo que pasó después? La respuesta importa para medir cuánto puede mejorar un modelo fijo al elegir entre opciones candidatas.
Los autores presentan HeadroomBench, un protocolo contrafactual y un conjunto de datos con ramas que mide qué opciones de acción para robots siguen siendo mejores en distintas continuaciones.
El protocolo restaura el mismo estado simulado para cada opción, repite la continuación posterior de la política y elige las opciones con resultados distintos de los usados para evaluarlas.
Así comprueba si la mejor acción aparente sigue siendo mejor más allá de la ejecución concreta que la hizo parecer superior.
En tres tareas de RoboCasa, un oráculo que usó tres resultados por opción obtuvo solo el 9 % de la mejora basada en una sola continuación cuando se evaluó con un resultado nuevo.
Esto sugiere que gran parte de la mejora aparente se debió a la suerte en la continuación, aunque la estimación es incierta.
Los resultados del selector proceden de tareas simuladas de LIBERO-Plus y no establecen su rendimiento en robots físicos ni en otros entornos. La mejora en tareas no usadas durante el entrenamiento fue positiva en 30 de las 40 tareas evaluadas, no en todas.
Qué muestran las pruebas
- ¿Cuánto puede mejorar la selección?
El artículo presenta HeadroomBench, un protocolo contrafactual y un conjunto de datos con ramas para modelos de acción del mundo (WAM), que generan bloques de acciones para robots y predicen sus consecuencias visuales.
Aborda un problema básico al elegir entre acciones candidatas: la opción con el mejor resultado observado quizá se benefició de acciones posteriores aleatorias. El protocolo mide cuánto de la ventaja de una opción se mantiene al separar esa aleatoriedad posterior de la elección.
- Una comprobación nueva cambia el resultado
RoboCasa y LIBERO-Plus son conjuntos de tareas robóticas simuladas, donde el éxito mide si se completa la tarea de un episodio. En un diagnóstico de tres tareas de RoboCasa, la mejor de 16 opciones de Cosmos Policy pareció elevar el éxito del 46,1 % al 58,3 % en 84 puntos de decisión. Sin embargo, un oráculo que eligió con tres resultados por opción y se evaluó con una continuación nueva obtuvo solo el 9 % de esa mejora aparente. Su intervalo de confianza era amplio e incluía cero, por lo que la estimación puntual es incierta.
- Algunas alternativas se distinguen mejor
Después, los investigadores compararon opciones muestreadas directamente de una política con alternativas estructuradas que desplazaban su bloque de acciones a lo largo de los ejes del robot. Entre cuatro WAM y las condiciones evaluadas de RoboCasa y LIBERO-Plus, como máximo el 22 % de la mejora aparente de las muestras nativas se mantuvo en la evaluación separada, frente al 67–95 % de las perturbaciones estructuradas.
Estos porcentajes son proporciones de la mejora obtenida con una sola continuación, no aumentos del éxito en las tareas. En los dos modelos evaluados que imaginaban las consecuencias de las acciones, esos futuros imaginados también ordenaron las opciones casi tan bien como los futuros reales.
- Un selector convierte el margen en mejoras
Para aprovechar el margen de mejora medido, los autores crearon un selector que predice cuándo podría fallar una acción de la política y solo entonces ordena alternativas. En episodios reservados de las tareas de entrenamiento de Cosmos Policy en la simulación LIBERO-Plus, el selector aumentó el éxito de ciclo cerrado del 76,9 % al 81,6 %.
Al entrenarlo sin las tareas de prueba, el éxito en esas tareas excluidas pasó del 62,6 % al 69,8 %. La mejora media en las tareas excluidas fue positiva, aunque 10 de las 40 tareas no mostraron una mejora positiva.
Detalles
- Autores del paper original
- Haojia Gao, Yue Cao, Yumin Liu, Haohua Que, Mingkai Liu
- Enviado a arXiv
- Licencia
- arXiv non-exclusive