Des mises à jour guidées par la planification aident les modèles du monde à s’adapter aux changements
Adapt for Planning, Not just Prediction: Optimistic Test-Time World Model Adaptation · arXiv:2610.35636
En termes simples
Un modèle du monde aide un planificateur en imaginant ce qui pourrait arriver après différentes actions. Pendant la planification, il apprend à partir des résultats des actions qu’il a déjà choisies ; il peut donc rester imprécis sur d’autres actions susceptibles d’atteindre l’objectif.
OpTTA met à jour le modèle à partir des résultats observés et des coûts d’atteinte de l’objectif associés aux actions imaginées par le planificateur. Dans huit contextes modifiés où seul le prédicteur était mis à jour, son gain moyen en taux d’épisodes résolus au plus tard à l’étape de replanification 30 était de 13.5 points de pourcentage par rapport au modèle figé, contre 6.9 points pour les mises à jour fondées uniquement sur la prédiction.
La recherche
Quand un planificateur apprend à partir des résultats de ses propres actions, cela suffit-il à rendre son modèle utile pour atteindre un objectif après un changement de contexte ?
Le modèle peut bien représenter ce qu’il a déjà essayé tout en restant imprécis sur d’autres actions qui pourraient réussir.
OpTTA ajoute, pendant la planification, les coûts d’atteinte de l’objectif du planificateur sur des séquences d’actions imaginées aux mises à jour fondées sur la prédiction des modèles du monde préentraînés.
Les auteurs ont comparé les deux règles de mise à jour en utilisant les mêmes points de contrôle préentraînés, le même planificateur, le même tampon de données et le même calendrier de mise à jour. Dans huit contextes modifiés où seul le prédicteur était adapté, ils ont mesuré la part des épisodes résolus au plus tard à l’étape de replanification 30.
Le gain moyen d’OpTTA par rapport au modèle figé était de 13.5 points de pourcentage, contre 6.9 pour l’adaptation fondée uniquement sur la prédiction.
Ce résultat étaye l’intérêt d’ajouter les coûts d’atteinte de l’objectif à la mise à jour, mais cette moyenne porte sur ces contextes et non sur toutes les tâches ou tous les changements de contexte.
Les résultats portent sur les modèles, tâches, changements de distribution et procédures de planification évalués. Dans TwoRoom avec des altérations visuelles, aucune des deux méthodes d’adaptation n’a dépassé le modèle figé. En outre, l’adaptation ajoute du calcul à chaque nouvelle planification.
Ce que montrent les preuves
- Un décalage dans la planification
Optimistic Test-Time Adaptation (OpTTA) est une méthode qui adapte des modèles du monde préentraînés pendant qu’un planificateur cherche à atteindre un objectif. Elle s’attaque au problème suivant : le planificateur choisit des actions en fonction de résultats imaginés, puis le modèle apprend à partir des résultats de ces mêmes actions.
Selon l’article, le modèle peut ainsi rester imprécis sur d’autres actions susceptibles d’atteindre l’objectif ; ajuster le modèle aux seules transitions observées ne suffit donc pas forcément à améliorer la planification.
- Deux signaux orientent les mises à jour
OpTTA conserve la perte de prédiction sur les transitions récemment observées, mais y ajoute le coût d’atteinte de l’objectif du planificateur sur des séquences candidates d’actions imaginées. Le premier terme ajuste le modèle à ce qui s’est produit ; le second favorise les estimations du modèle qui donnent l’impression que les plans candidats sont plus proches de l’objectif.
Dans l’implémentation, les actions candidates restent fixes tandis que leurs trajectoires prédites changent au fil des mises à jour du modèle.
- Des gains selon deux périmètres
Les auteurs ont mesuré le succès final comme le pourcentage d’épisodes résolus au plus tard à l’étape de replanification 30. Dans huit contextes modifiés où seul le prédicteur était adapté, le gain moyen d’OpTTA par rapport au modèle figé était de 13.5 points de pourcentage, contre 6.9 pour l’adaptation fondée uniquement sur la prédiction.
Lorsque le prédicteur et l’encodeur étaient tous deux adaptés, les gains moyens correspondants sur sept contextes étaient de 13.5 et 7.5 points.
- Résultats et exception
Un diagnostic a montré qu’OpTTA ne réduisait pas systématiquement la perte de prédiction sur les transitions exécutées par l’agent. Sur Reacher, la méthode était plus précise que l’adaptation fondée uniquement sur la prédiction pour une trajectoire de départ à l’objectif que l’agent n’avait pas générée ; sur PushT, les méthodes y obtenaient des résultats similaires.
Le schéma général a aussi une limite : avec des altérations visuelles dans TwoRoom, les deux méthodes d’adaptation ont obtenu un succès final inférieur à celui du modèle figé.
Détails
- Auteurs de l’article original
- Akshay Mete, Dileep Kalathil, P. R. Kumar
- Soumis à arXiv
- Licence
- CC BY 4.0