ASTEROID apprend aux agents à vue partielle à explorer par l’expérience

Quand un expert voit des informations auxquelles l’élève n’a pas accès, copier ses actions ne montre pas forcément à l’élève comment découvrir ces informations. Un élève peut-il apprendre à explorer à partir de son propre historique d’interaction tout en bénéficiant des conseils d’un expert ? ASTEROID étudie cette question pour des tâches de décision où les observations sont partielles.

ASTEROID entraîne les élèves à partir de leurs propres historiques d’interaction, en utilisant les étiquettes d’action d’un expert disposant d’informations privilégiées pour apprendre à explorer quand les observations sont partielles.

ASTEROID étudie une question précise : un élève qui ne dispose que d’observations partielles peut-il découvrir des informations cachées sur une tâche grâce à un expert qui connaît déjà l’état caché ?

La méthode fait produire des historiques d’interaction à l’élève et l’entraîne à partir des étiquettes d’action privilégiées de l’expert, pour les situations que l’élève a rencontrées.

Dans des tâches discrètes d’exploration, ASTEROID a obtenu une performance finale supérieure à celle des méthodes de référence évaluées, avec le même budget d’interactions au moment du test. En manipulation simulée avec des capteurs limités, la méthode a été environ 100 fois plus efficace en nombre d’étapes dans l’environnement que des méthodes d’apprentissage par renforcement avec supervision privilégiée. Ces résultats étayent l’apprentissage de l’exploration à partir d’historiques produits par l’élève dans les contextes testés.

La correspondance théorique avec l’échantillonnage a posteriori ne tient que sous certaines hypothèses concernant les étiquettes de l’expert, la couverture des historiques et l’apprentissage exact, et seulement pour les historiques couverts par les données recueillies. Le résultat sur robot réel porte sur une tâche de prise d’un cube et 10 essais.