Préciser l’événement et l’horloge avant de se fier à une décision

Un planificateur de jeu peut mal évaluer une récompense, un assistant vocal peut terminer une tâche devenue obsolète et un système de surveillance vidéo peut déclencher une alerte au mauvais moment. Un benchmark d’appels sur les résultats financiers peut aussi commencer à mesurer un rendement avant que les données qu’il décrit soient disponibles. Dans chaque cas, le résultat dépend de l’endroit où l’on place la frontière de l’événement.

Les études rendent ces frontières visibles au moyen de la substitution de transitions, du contrôle des versions de tâches, de règles d’alerte et d’horloges de prix explicites.

Leurs résultats répondent à des questions différentes selon des protocoles différents. Pour les interpréter, il faut d’abord repérer l’événement, l’état pertinent et l’horloge utilisée.

Un agent de jeu peut simuler plusieurs suites d’actions, puis choisir celle dont le rendement prédit est le meilleur. Supposons qu’une simulation paraisse plausible image après image, mais omette la récompense associée à un bref contact.

Le planificateur peut alors classer la séquence selon un rendement erroné, même si la plupart des images semblent justes. C’est le problème soulevé par l’étude sur les modèles du monde : la ressemblance visuelle seule ne permet pas de savoir à quel moment un avenir imaginé devient trompeur pour la décision.

Le moment à examiner est la transition entre deux images consécutives, car c’est à ce moment qu’une récompense peut être obtenue ou qu’un épisode peut prendre fin. Une erreur à cet endroit peut modifier la valeur attribuée à une séquence pourtant convaincante.

À l’inverse, un écart visuel important ailleurs peut avoir peu d’effet sur le rendement. Pour étudier l’erreur du planificateur, il faut pouvoir déterminer quels moments y contribuent, en utilisant les mêmes actions pour les futurs imaginé et réel.

Cette question suggère aussi une habitude de lecture plus générale : repérer la frontière de l’événement avant d’interpréter une décision qui en dépend. Dans le cas du planificateur, cette frontière est l’étape où l’environnement attribue une récompense ou met fin à l’épisode.

Un diagnostic qui traite toutes les images comme également pertinentes risque de répondre à une autre question que celle à laquelle le planificateur est confronté. L’étude cherche donc à localiser, dans une simulation, l’endroit où survient l’erreur qui modifie le choix du planificateur.