Un metodo in due fasi migliora il grounding nelle interfacce grafiche

Quando un'istruzione indica un controllo piccolo o poco familiare, come si può aiutare un modello a imparare dagli errori se ogni clic campionato può essere sbagliato? Il paper esamina se indicazioni più ricche prima dell'apprendimento per rinforzo possano colmare questa lacuna.

D2RL prima usa un modello insegnante per guidare i tentativi di clic dello studente, poi lo addestra in base al fatto che ciascun clic cada o meno sull'elemento richiesto.

In un'ablazione, gli autori hanno confrontato varianti successive all'addestramento partendo dallo stesso checkpoint addestrato con supervisione e usando gli stessi dati per l'addestramento successivo.

Nei cinque test per interfacce, che valutano se un clic previsto cade nell'area obiettivo, D2RL ha ottenuto una media di 69.9 punti, contro 68.0 con il solo addestramento supervisionato, 69.1 con la sola OPSD e 68.9 con il solo RLOO.

Una variante di controllo che ha usato gli esempi dell'addestramento successivo durante l'addestramento supervisionato prima di applicare RLOO ha ottenuto una media di 69.1 punti.

Gli autori interpretano il vantaggio di 0.8 punti di D2RL rispetto a questo controllo come evidenza che il risultato non dipende semplicemente dall'esposizione aggiuntiva ai dati.

I risultati riguardano cinque test di grounding per interfacce grafiche e le configurazioni di addestramento riportate.

Il confronto con RLOO† non permette di stabilire quale differenza procedurale spieghi il divario rispetto a D2RL, perché non sono specificati il checkpoint iniziale esatto né altre condizioni di addestramento.