Controllare ogni azione può fermare le violazioni degli agenti

La supervisione può fermare un agente che ha già visto che un’azione non è autorizzata, senza limitarsi a rimandare la violazione né bloccare lo stesso lavoro quando è consentito?

Un controllo su un solo turno non può rispondere a entrambe le domande: per farlo bisogna seguire l’intero episodio in ambienti abbinati.

Gli autori presentano CAPE-Bench e un gate basato sullo stato interno che prevede le azioni non autorizzate, controlla ogni chiamata proposta a uno strumento e chiede un’approvazione dopo segnalazioni ripetute.

CAPE-Bench abbina ambienti con strumenti simulati che differiscono per un fatto decisivo, da cui dipende se un’azione critica è consentita.

Un sistema di previsione legge lo stato interno e segnala le chiamate proposte, così il gate può modificarle o chiedere un’approvazione dopo segnalazioni ripetute.

Nelle quattro famiglie di modelli open-weight valutate, controllare ogni chiamata ha ridotto le violazioni successive; l’approccio che prima usa il gate e poi chiede un’approvazione ha mantenuto il completamento delle attività autorizzate vicino a quello delle esecuzioni abbinate senza gate.

Poiché i ricercatori hanno seguito gli episodi e verificato gli esiti nell’ambiente, i risultati riguardano sia le violazioni rimandate sia il lavoro consentito perso in questi test.

Le valutazioni hanno usato strumenti simulati e quattro famiglie di modelli open-weight; la soglia del gate è stata scelta empiricamente e non offre una garanzia sui falsi allarmi valida per qualsiasi distribuzione. Il test di trasferimento ha riguardato due famiglie di modelli.

Il paper non ha valutato agenti addestrati per eludere la lettura dello stato interno né un ciclo dal vivo tra modello e approvatore.