El repaso con modelos del mundo ayuda a los robots a conservar habilidades

Cuando un robot generalista aprende tareas de una en una, ¿cómo puede mejorar la tarea actual sin cambiar el comportamiento aprendido antes, si no se pueden guardar ni repetir las trayectorias anteriores?

El artículo aborda esta tensión separando la mejora de tareas de la política congelada y usando el repaso imaginado para proteger el comportamiento previo.

D2R dirige una política robótica congelada y repasa tareas anteriores con un modelo del mundo, mejora tareas nuevas y limita el olvido sin almacenar trayectorias completas.

D2R entrena un pequeño módulo de dirección que modifica el ruido que recibe una política generativa congelada. Un modelo del mundo congelado regenera recorridos de tareas anteriores a partir de observaciones iniciales, y una penalización mantiene al módulo cerca del comportamiento previo en esos estados.

Si el modelo tiene suficiente precisión, la tarea nueva se aprende mediante imaginación; de lo contrario, el aprendizaje pasa al entorno.

En secuencias de ocho tareas, D2R elevó el éxito promedio final del 63,7% al 74,8% en CALVIN y del 10,4% al 74,9% en LIBERO. El olvido —el éxito que se pierde después de aprender una tarea— fue de 5,7 y 8,3 puntos, respectivamente.

Sin repaso, LIBERO alcanzó el 16,9% y perdió 78,3 puntos, lo que respalda el diseño que combina dirección y repaso.

La evidencia abarca las secuencias de CALVIN y LIBERO descritas y tres tareas de sobremesa en un solo robot Franka. D2R sigue guardando observaciones iniciales para empezar los repasos, y aprender tareas nuevas mediante simulaciones imaginadas sigue dependiendo de la precisión del modelo del mundo.