Bug di sicurezza possono nascondersi in chiamate valide agli strumenti degli LLM

Quando un modello linguistico passa una chiamata a uno strumento attraverso un livello di orchestrazione, quali garanzie può assumere lo strumento sugli argomenti ricevuti? Una chiamata può rispettare lo schema mentre un attaccante ne controlla il contenuto, e lo strumento può terminare normalmente dopo aver violato il significato di sicurezza dichiarato nella propria documentazione.

Il paper esamina se testare la semantica dello strumento possa far emergere questo rischio nascosto.

ToFu trasforma la documentazione degli strumenti in controlli semantici eseguibili e test di fuzzing conformi allo schema, poi usa gli effetti e gli output osservati per trovare violazioni di sicurezza silenziose.

Il framework associa il significato documentato di ciascun argomento a controlli di sicurezza registrati, modifica gli argomenti rispettando lo schema dello strumento e valuta gli effetti durante l’esecuzione o se un input segnalato viene rifiutato in sicurezza.

Verifica così il contratto al confine dell’implementazione, invece di limitarsi a controllare se il processo si blocca.

Su 273 server raggiungibili, ToFu ha prodotto 508 casi candidati; la revisione manuale e la deduplicazione hanno lasciato 253 bug verificati, che interessavano 343 strumenti in 118 server.

Poiché 182 casi candidati comportavano un’esecuzione riuscita nonostante la violazione di un vincolo semantico, i risultati supportano la conclusione del paper: un formato valido e un’esecuzione normale non dimostrano che la gestione sia sicura; il significato di sicurezza dichiarato nella metadata va fatto rispettare nell’implementazione.

ToFu ha bisogno di prove osservabili durante l’esecuzione e di strumenti eseguibili.

Può non rilevare proprietà che non producono eventi osservabili, server che si bloccano prima di eseguire la propria logica e comportamenti che dipendono da più agenti, componenti di terze parti o sequenze di chiamate con stato.