Un método de dos etapas mejora la localización en interfaces gráficas

Cuando una instrucción señala un control pequeño o poco familiar, ¿cómo puede el entrenamiento ayudar a un modelo a aprender de sus errores si todos los clics que prueba pueden fallar? El artículo pregunta si una guía más detallada antes del aprendizaje por refuerzo puede resolver esa falta de señal.

D2RL primero usa un modelo docente para guiar los intentos de clic del propio modelo y luego lo entrena según si cada clic cae dentro del elemento solicitado.

En una ablación, los autores compararon variantes posteriores al entrenamiento que partían del mismo punto de control entrenado con supervisión y usaban los mismos datos para esa etapa.

En cinco pruebas de interfaces que miden si un clic previsto cae en el área objetivo, D2RL obtuvo un promedio de 69.9 puntos, frente a 68.0 con solo entrenamiento supervisado, 69.1 con OPSD por sí sola y 68.9 con RLOO por sí solo.

Un control que usó los ejemplos posteriores al entrenamiento durante el entrenamiento supervisado antes de aplicar RLOO obtuvo un promedio de 69.1 puntos.

Los autores interpretan la diferencia de 0.8 puntos de D2RL respecto a ese control como evidencia de que el resultado no se debe simplemente a una exposición adicional a los datos.

Los resultados abarcan cinco pruebas de localización en interfaces gráficas y las configuraciones de entrenamiento descritas.

La comparación con RLOO† no permite establecer qué diferencia del procedimiento explica la brecha con D2RL, porque no se especifican el punto de partida exacto ni otras condiciones de entrenamiento.