ES
Las actualizaciones guiadas por la planificación ayudan a adaptar modelos del mundo a cambios
Adapt for Planning, Not just Prediction: Optimistic Test-Time World Model Adaptation · arXiv:2610.35636
En palabras sencillas
Un modelo del mundo ayuda a un planificador imaginando qué podría pasar después de distintas acciones. Durante la planificación, aprende de los resultados de las acciones que ya eligió, lo que puede dejarlo equivocado sobre otras acciones que podrían alcanzar la meta.
OpTTA actualiza el modelo usando tanto los resultados observados como los costos de alcanzar la meta que el planificador calcula para acciones imaginadas. En ocho entornos con cambios y con solo el predictor actualizado, su mejora media en el éxito de los episodios hasta la replanificación 30 fue de 13.5 puntos porcentuales frente a un modelo sin actualizar, comparada con 6.9 puntos para las actualizaciones que solo usan predicción.
La investigación
Cuando un planificador aprende de los resultados de las acciones que él mismo eligió, ¿basta eso para que su modelo le sirva para alcanzar una meta cuando cambia el entorno? El modelo puede ajustarse a lo que ya ha probado y seguir equivocado sobre otras acciones que podrían funcionar.
OpTTA añade los costos de alcanzar la meta que calcula el planificador para secuencias de acciones imaginadas a las actualizaciones basadas en predicción de modelos del mundo preentrenados durante la planificación.
Los autores compararon ambas reglas de actualización con los mismos puntos de control preentrenados, planificador, búfer de datos y calendario de actualizaciones.
En ocho entornos con cambios donde solo se adaptó el predictor, midieron la proporción de episodios resueltos en la replanificación 30 o antes. La mejora media de OpTTA frente al modelo sin actualizar fue de 13.5 puntos porcentuales, frente a 6.9 con la adaptación basada solo en predicción.
Este resultado respalda el valor de añadir costos de alcanzar la meta a la actualización, aunque el promedio corresponde a esos entornos y no a todas las tareas o cambios posibles.
Los resultados abarcan los modelos, las tareas, los cambios de entorno y los procedimientos de planificación evaluados. En TwoRoom con alteraciones visuales, ninguno de los métodos de adaptación superó al modelo sin actualizar, y adaptar el modelo añade cómputo en cada replanificación.
Qué muestran las pruebas
- Un desajuste en la planificación
Optimistic Test-Time Adaptation (OpTTA) es un método para adaptar modelos del mundo preentrenados mientras un planificador se dirige a una meta.
El problema que aborda es que el planificador elige acciones según resultados imaginados y luego el modelo aprende de los resultados de esas mismas acciones. El artículo sostiene que esto puede dejar al modelo con predicciones inexactas sobre otras acciones que podrían alcanzar la meta, por lo que ajustar solo las transiciones observadas no necesariamente mejora la planificación.
- Dos señales orientan las actualizaciones
OpTTA conserva la pérdida de predicción en transiciones observadas recientemente, pero añade el costo de alcanzar la meta que usa el planificador para secuencias candidatas de acciones imaginadas. El primer término ajusta el modelo a lo que ocurrió; el segundo favorece estimaciones que hacen parecer más cercanos a la meta los planes candidatos.
En la implementación, las acciones candidatas permanecen fijas mientras cambian sus trayectorias predichas al actualizar el modelo.
- Mejoras en dos alcances
Los autores midieron el éxito final como el porcentaje de episodios resueltos en el paso 30 de replanificación o antes.
En ocho entornos con cambios y con solo el predictor adaptado, la mejora media de OpTTA frente al modelo sin actualizar fue de 13.5 puntos porcentuales, frente a 6.9 con la adaptación basada solo en predicción. Al adaptar tanto el predictor como el codificador, las mejoras medias correspondientes en siete entornos fueron de 13.5 y 7.5 puntos.
- Evidencia y excepción
Un análisis diagnóstico encontró que OpTTA no redujo de forma consistente la pérdida de predicción en las transiciones ejecutadas por el agente. En Reacher, fue más preciso que la adaptación basada solo en predicción en una trayectoria de inicio a meta que el agente no había generado; en PushT, los métodos fueron similares en esa trayectoria.
El patrón general también tiene un límite: con alteraciones visuales en TwoRoom, ambos métodos de adaptación terminaron por debajo del modelo sin actualizar.
Detalles
- Autores del paper original
- Akshay Mete, Dileep Kalathil, P. R. Kumar
- Enviado a arXiv
- Licencia
- CC BY 4.0