Collocare le prove presso la decisione da supportare
Un robot può interpretare male una presa, un gioco può compilarsi ma comportarsi male e un agente che usa strumenti può avvicinarsi a una modifica irreversibile. Le prove intermedie contano in base alla decisione che le riceve.
In quattro studi, le tracce informano il controllo robotico, la valutazione di siti web, le azioni robotiche successive o la verifica di una chiamata agli strumenti già redatta.
Gli esiti riportati riguardano compiti e misure diversi; il primo passo utile è individuare quale decisione ogni traccia dovrebbe supportare.
Cosa comprenderai
In che modo una traccia sull’effetto previsto di un’azione differisce dal ragionamento appreso durante l’addestramento ma nascosto all’azione attuale?
Che cosa misura l’accordo con le preferenze registrate sui siti web, e che cosa lascia senza verifica?
Dove può collocare un sistema il ragionamento o la verifica quando un’azione deve essere pronta in tempi brevi o una chiamata agli strumenti cambierà lo stato?
Collegare l’azione robotica al suo effetto
Immagina un robot che cerca di afferrare un oggetto, ma la presa è in parte nascosta. Se considera completa una presa ancora incerta, la mossa successiva potrebbe basarsi su un’immagine sbagliata del compito.
In un gioco si presenta un problema diverso: il codice può compilarsi, mentre durante la partita i movimenti o i passaggi da una scena all’altra non funzionano. Un agente che usa strumenti ne affronta un altro: consultare una scheda fornisce informazioni, mentre modificarla cambia lo stato del compito.
In tutti questi casi, la domanda pratica è dove debbano arrivare le prove raccolte nei passaggi intermedi, prima della successiva decisione importante.
Chiamiamo traccia il resoconto intermedio. Per un robot può spiegare quale cambiamento dovrebbe produrre un’azione.
Per chi valuta un sito web, può registrare che cosa è successo quando un agente ha fatto clic e ha osservato l’applicazione. Per un agente che usa strumenti, può contenere una bozza basata sui risultati ottenuti con consultazioni precedenti.
Questi resoconti hanno destinatari diversi. Una traccia fornita a un valutatore può contribuire al giudizio su un’applicazione; una fornita a un controllore può influire sulla scelta dell’azione. Gli studi verificano questi diversi impieghi in contesti distinti.
Partiamo dal controllo robotico. I modelli robotici preaddestrati possono imparare da dimostrazioni che mostrano osservazioni e azioni, ma in genere non spiegano il motivo di ciascuna azione.
Arc è una ricetta di addestramento che aggiunge a questi dati tracce causali legate alle azioni e adatta un modello robotico già esistente affinché le utilizzi. Il destinatario previsto della traccia è il modello che sceglie il movimento successivo del robot.
La domanda comune assume così una forma concreta: che cosa dovrebbe contenere una spiegazione se deve aiutare a scegliere quel movimento?
Come prosegue la lezione
Valutare l’applicazione attraverso il suo uso
Ridurre l’attesa prima dell’azione
Verificare la bozza prima di cambiare lo stato
Collocare le prove presso chi decide