ASTEROID enseña a agentes con visión parcial a explorar a partir de la experiencia

Cuando un experto puede ver información que el estudiante no ve, copiar sus acciones quizá no enseñe al estudiante a descubrirla. ¿Puede aprender a explorar a partir de su propio historial de interacción y, a la vez, aprovechar la orientación de un experto? ASTEROID estudia esta pregunta en tareas de toma de decisiones con observaciones parciales.

ASTEROID entrena a los estudiantes con sus propios historiales de interacción y usa las etiquetas de acciones de un experto con acceso privilegiado para aprender a explorar cuando solo se observan partes del entorno.

ASTEROID aborda una pregunta concreta: ¿puede un estudiante con observaciones parciales encontrar información oculta de una tarea con la ayuda de un experto que ya conoce el estado oculto?

El método hace que el estudiante genere historiales de interacción y usa las etiquetas privilegiadas de acciones del experto para entrenarlo en esas situaciones.

En tareas discretas de exploración, ASTEROID logró un rendimiento final superior al de las referencias evaluadas, con el mismo presupuesto de interacciones durante la prueba. En manipulación simulada con sensores limitados, fue unas 100 veces más eficiente en pasos del entorno que los métodos de aprendizaje por refuerzo con supervisión privilegiada.

Estos resultados respaldan el aprendizaje de la exploración a partir de historiales generados por el estudiante en los contextos evaluados.

La equivalencia teórica con el muestreo posterior solo se cumple bajo ciertos supuestos sobre las etiquetas del experto, la cobertura de los historiales y el aprendizaje exacto, y únicamente para los historiales cubiertos por los datos recopilados. El resultado en hardware corresponde a una tarea de recoger cubos y 10 ensayos.