Los modelos del mundo pueden pasar por alto eventos en fotogramas que parecen precisos
En palabras sencillas
Un modelo del mundo permite que un planificador pruebe acciones en un futuro imaginado. Pero un modelo puede dibujar casi todos los fotogramas correctamente y aun así equivocarse sobre una recompensa o el final de un episodio, lo que puede cambiar cuál plan parece mejor.
El artículo presenta una prueba que sustituye pares de fotogramas imaginados por pares reales y mide cuánto cambia el error del retorno. En 44 pares fiables de modelo y colección de Atari, sustituir los pares cercanos a recompensas o finales de episodio eliminó más error que sustituir la misma cantidad de pares aleatorios.
La investigación
Si un planificador elige acciones comparando retornos imaginados, pasar por alto algunas recompensas o finales de episodio puede distorsionar su clasificación aunque los fotogramas generados parezcan convincentes.
La pregunta es si esos errores relevantes para las decisiones aparecen por toda la secuencia o se concentran en transiciones concretas.
El diagnóstico de sustitución por transiciones de Liu y Tang inserta pares de fotogramas reales en secuencias imaginadas para localizar qué pasos generan error en el retorno.
En cada prueba, los investigadores compararon el retorno imaginado por un modelo con el retorno de una repetición del emulador que usaba las mismas acciones.
Sustituyeron pares de fotogramas asociados a eventos o la misma cantidad de pares aleatorios y midieron el cambio en el error absoluto medio del retorno entre pruebas.
Los parches de eventos superaron a los aleatorios en 39 de 44 pares fiables de modelo y colección de Atari. Como las transiciones de eventos no tenían mayor error por píxel, el resultado sugiere que la fidelidad visual por sí sola puede pasar por alto los pasos relevantes para el retorno.
Los resultados de atribución solo abarcan pares de modelo y colección cuyo detector de recompensas, mantenido fijo, superó una comprobación de fiabilidad con datos independientes. En la comparación de reparación, el modelo determinista de error recibió más actualizaciones de entrenamiento que el modelo de difusión; el resultado informado para tareas de control incluye solo comparaciones cuyo detector superó la comprobación.
Análisis
Detalles
- Autores del paper original
- Haoyue Liu, Xiaoying Tang
- Enviado a arXiv
- Licencia
- arXiv non-exclusive