Segui il percorso delle prove prima di fidarti di una decisione dell’agente
Un simulatore può produrre il valore necessario, mentre un agente risponde usando un altro file. Un avviso sul codice può sembrare convincente anche se la relazione nel programma citata a sostegno è sbagliata.
Un monitor di sicurezza può essere in esecuzione, ma il risultato rilevato può non arrivare alla decisione di blocco.
Il compito comune è seguire le prove fino alla decisione che devono sostenere. Ogni studio verifica un collegamento specifico e circoscrive le proprie conclusioni alle prove osservate.
Cosa comprenderai
In che modo cambiare la consegna del rapporto di uno strumento può modificare la risposta di un agente, mantenendo invariato il calcolo?
Quali prove dovrebbe citare un verdetto sul codice e come può un test del framework verificare che le prove di sicurezza raggiungano una decisione?
Che cosa può stabilire un revisore dagli eventi registrati nell’ambiente di esecuzione e dove si ferma la portata di queste prove?
Il percorso verso la risposta cambia ciò che si legge
Immaginate di chiedere a un agente di eseguire una simulazione chimica e scegliere la risposta riportata nel suo resoconto. Il simulatore, PHREEQC, produce un resoconto formattato con numeri che hanno la stessa precisione delle opzioni di risposta.
L’agente può anche scrivere un file di output più breve, con più cifre. Se il resoconto compare direttamente nella risposta dello strumento, il numero rilevante è già visibile.
Se invece lo strumento restituisce un indice, l’agente deve aprire una sezione del resoconto per vederlo.
La modalità di consegna ha fatto la differenza in una ripetizione controllata con GPT-5.2. I ricercatori hanno mantenuto fissi i file della simulazione e la cronologia visibile per 131 domande numeriche, poi hanno proseguito ciascun caso tre volte per ogni modalità di consegna.
Hanno calcolato, per ogni domanda, la differenza media nel tasso di risposte corrette e poi hanno fatto la media di tali differenze tra le domande, contando le risposte mancanti come errate. Consegnare un indice ha ridotto l’accuratezza di 9,4 punti percentuali rispetto alla consegna del resoconto direttamente nella risposta.
Il confronto riguarda quelle continuazioni a input congelati, in cui l’unico elemento modificato era il risultato dello strumento in attesa.
Questo risultato porta a una domanda più ampia: in quali punti si possono perdere o verificare le prove tra uno strumento o un programma e una decisione rilevante? Una risposta, un verdetto sulla sicurezza del codice e la decisione di bloccare un’azione non sicura dipendono da tipi diversi di prove.
Dall’esterno, i loro malfunzionamenti possono sembrare simili: il sistema termina e presenta una decisione. Per capirla, occorre individuare quali prove erano disponibili, quali ha usato il sistema e se è possibile esaminare il collegamento dichiarato.
Come prosegue la lezione
Verificare il codice alla base del verdetto
Seguire le prove fino alla decisione di sicurezza
Riprodurre ciò che l’ambiente ha registrato
Verificare il punto in cui contano le prove