Les modèles du monde peuvent manquer des événements dans des images pourtant fidèles
En termes simples
Un modèle du monde permet à un système de planification d’essayer des actions dans un futur imaginé. Mais un modèle peut produire des images qui semblent justes tout en se trompant sur une récompense ou sur la fin d’un épisode.
L’erreur peut alors changer le plan qui paraît le meilleur. L’article présente un test qui remplace certaines paires d’images imaginées par des paires réelles, puis vérifie comment varie l’erreur sur le retour cumulé, c’est-à-dire la somme des récompenses.
Dans 44 paires modèle-collecte Atari jugées fiables, remplacer les images autour des récompenses ou des fins d’épisode a éliminé davantage d’erreur que remplacer le même nombre de paires choisies au hasard.
La recherche
Si un système de planification choisit ses actions en comparant des retours imaginés, quelques récompenses ou fins d’épisode manquées peuvent fausser le classement des plans, même si les images générées paraissent convaincantes.
La question est de savoir si ces erreurs importantes pour les décisions sont réparties dans toute la séquence imaginée ou concentrées à certaines transitions.
Le diagnostic de substitution de Liu et Tang remplace des paires d’images réelles dans des suites imaginées pour localiser les étapes qui contribuent à l’erreur de retour.
Pour chaque essai, les chercheurs ont comparé le retour imaginé par un modèle à celui d’un émulateur rejouant les mêmes actions.
Ils ont remplacé des paires d’images associées aux événements ou un nombre égal de paires aléatoires, puis mesuré la variation de l’erreur absolue moyenne du retour entre les essais.
Dans 39 des 44 paires modèle-collecte Atari jugées fiables, les remplacements liés aux événements ont davantage réduit l’erreur que les remplacements aléatoires.
Comme les transitions associées aux événements n’avaient pas d’erreur en pixels plus élevée, le résultat suggère qu’une fidélité visuelle élevée ne suffit pas à repérer les étapes importantes pour le retour.
Les résultats d’attribution ne portent que sur les paires modèle-collecte dont le détecteur de récompenses, maintenu inchangé, a réussi un contrôle de fiabilité sur des données indépendantes. Dans la comparaison des méthodes de correction, le modèle déterministe d’erreur a reçu davantage de mises à jour d’entraînement que le modèle de diffusion.
Le résultat rapporté pour les tâches de contrôle ne comprend que les comparaisons où le détecteur a passé le contrôle.
Analyse
Détails
- Auteurs de l’article original
- Haoyue Liu, Xiaoying Tang
- Soumis à arXiv
- Licence
- arXiv non-exclusive