Un modello può rilevare un passaggio fallito e fidarsi comunque del registro dell’agente
In parole semplici
Il modello decisionale di un agente riceve un resoconto di ciò che l’agente ha provato a fare e un’osservazione della situazione attuale. A volte il resoconto dice che un passaggio è riuscito anche se l’osservazione mostra il contrario.
Il paper presenta EviGate, che controlla lo stato interno del modello prima di lasciargli prendere una decisione rilevante. Nei test, i modelli spesso hanno seguito una falsa affermazione di successo.
Gli agenti che usavano EviGate hanno completato più attività di quelli senza filtro nel simulatore telefonico testuale, in ALFWorld e in WebShop, quando il filtro era calibrato con esempi del contesto corrispondente.
La ricerca
Quando il registro di un agente dice che un passaggio è riuscito, ma l’osservazione attuale lo contraddice, di quale fonte dovrebbe fidarsi il modello decisionale? Una scelta conclusiva può trasformare un resoconto sbagliato in un’azione rilevante.
Il paper verifica se i modelli usino ciascuna fonte di informazione e se le prove contenute nel loro stato interno possano aiutare a rilevare la discrepanza.
EviGate legge uno stato intermedio del modello e blocca una scelta conclusiva quando quello stato non supporta l’ipotesi che il passaggio precedente dell’agente sia riuscito.
Per prima cosa, i ricercatori hanno variato separatamente il registro e l’osservazione in casi appaiati su telefono, ALFWorld e WebShop. Nei quattro modelli testati in tutti e tre gli ambiti, gli indizi nel registro hanno avuto un effetto medio maggiore in ogni combinazione modello-ambito.
In molti casi costruiti, le false affermazioni di successo hanno inoltre portato a scelte rilevanti, mostrando perché la discrepanza conta. Un classificatore lineare ha potuto individuare informazioni sull’esito negli stati intermedi; EviGate usa quel segnale per bloccare scelte conclusive non supportate.
Con esempi di calibrazione del contesto corrispondente, ha aumentato il completamento delle attività degli agenti rispetto all’assenza del filtro in tutte e tre le valutazioni. Il confronto con blocchi casuali applicati alla stessa frequenza suggerisce che il blocco selettivo sia stato utile nel simulatore telefonico e in WebShop; il confronto in ALFWorld è rimasto incerto.
Le valutazioni con agenti hanno introdotto deliberatamente errori silenziosi, e l’agente telefonico è stato eseguito in un simulatore testuale, non su un dispositivo Android reale.
Lo studio non stabilisce quanto spesso le discrepanze si verifichino spontaneamente né se questi miglioramenti si trasferiscano all’uso reale del telefono; i risultati del fine-tuning sono stati ottenuti offline.
Analisi
Dettagli
- Autori del paper originale
- Tina Khezresmaeilzadeh, Seyedarmin Azizi, Erfan Baghaei Potraghloo, Mehdi Kamal, Massoud Pedram
- Inviato ad arXiv
- Licenza
- CC BY 4.0