Sauron verifica le prove prima di giudicare le attività degli agenti

Quando un agente completa un’attività lunga, le prove di ciò che è accaduto possono trovarsi nello stato finale dell’ambiente o nella registrazione delle sue azioni, mentre chi applica una griglia di valutazione può vedere solo un’affermazione. Un verificatore può esaminare quei dati abbastanza da emettere giudizi che rispecchino le prove?

Sauron confronta le affermazioni con le prove citate nello stato e nella traccia delle azioni, poi accetta i giudizi sui criteri solo se le affermazioni verificate li sostengono.

Per verificare se i giudizi basati su criteri restano fondati quando le prove sono sparse tra la risposta di un agente, lo stato finale e la registrazione delle azioni, gli autori hanno valutato Sauron su attività di assistenza personale. Quanto concordano con i giudizi umani i verdetti ottenuti controllando le prove citate?

Su 100 episodi simulati, con GPT-5.6 Sol, Sauron ha ottenuto un punteggio superiore a Gandalf nel confronto con i giudizi umani: 0.96 contro 0.92 F1, una misura che combina precisione e capacità di trovare i casi pertinenti su 2,586 criteri.

Entrambi hanno giudicato le stesse sequenze di azioni con lo stesso modello, ma le procedure e l’accesso alla traccia differivano. Il risultato sostiene l’approccio complessivo di Sauron, senza attribuire la differenza al solo accesso alla traccia.

La verifica delle prove non risolve ogni disaccordo sul significato dei criteri della griglia: in un esame manuale di 65 disaccordi in PA100, 48 riguardavano criteri interpretati da Sauron in modo più rigoroso rispetto a chi aveva annotato i giudizi.

La valutazione, inoltre, non mette alla prova agenti ottimizzati per sfruttare Sauron come fonte di ricompensa.