Define el evento y el reloj antes de confiar en una decisión

Un planificador de juegos puede valorar mal una recompensa, un asistente de voz puede terminar una tarea desactualizada y un monitor de vídeo puede alertar en el momento equivocado. Un benchmark de llamadas sobre resultados financieros también puede empezar a medir un retorno antes de que esté disponible la información que describe. En cada caso importa dónde se sitúa el límite de un evento.

Los estudios hacen visibles esos límites mediante la sustitución de transiciones, la verificación de versiones de tareas, las reglas de alerta y la declaración de los relojes de precios.

Sus resultados responden preguntas distintas bajo protocolos diferentes; para interpretarlos, conviene identificar primero el evento, el estado pertinente y el reloj.

Un agente que juega puede simular varias secuencias de acciones y elegir una según los retornos que predice para cada una. Supongamos que una secuencia simulada parece verosímil en cada fotograma, pero no registra la recompensa asociada a un contacto breve.

Entonces, el planificador puede clasificar la secuencia usando un retorno equivocado, aunque la mayoría de las imágenes parezcan correctas. Ese es el problema que plantea el estudio sobre modelos del mundo: el parecido visual, por sí solo, no indica en qué punto un futuro imaginado empieza a inducir a error en una decisión.

El momento relevante es la transición entre dos fotogramas consecutivos, porque allí se puede obtener una recompensa o terminar un episodio. Un error en esa transición puede cambiar el valor asignado a una secuencia que, por lo demás, resulta convincente.

En cambio, una gran diferencia visual en otro punto quizá apenas afecte al retorno. Para investigar el error del planificador, hace falta una forma de determinar qué momentos lo explican, usando las mismas acciones para los futuros imaginado y real.

Esa pregunta también sugiere un hábito de lectura más amplio: antes de interpretar una decisión vinculada a un evento, hay que identificar el límite que lo define. En el caso del planificador, ese límite es el paso en que el entorno otorga una recompensa o termina el episodio.

Un diagnóstico que trate todos los fotogramas como igualmente relevantes podría responder una pregunta distinta de la que afronta el planificador. Por eso, el estudio pregunta en qué punto de una secuencia simulada aparece el error que cambia la elección del planificador.