Le richieste tradotte possono cambiare i verdetti di sicurezza dei controlli per agenti

Se un controllo di sicurezza per un agente riceve la richiesta dell’utente in un’altra lingua, giudicherà allo stesso modo la stessa azione proposta?

Il paper verifica se la lingua della richiesta cambia il verdetto del controllo anche quando l’azione e il resto del passaggio etichettato rimangono invariati.

LinguaGuardBench verifica se tradurre soltanto una richiesta dell’utente cambia il verdetto dei controlli sullo stesso passaggio etichettato relativo a una chiamata a uno strumento.

LinguaGuardBench verifica se il giudizio di un controllo su una chiamata a uno strumento proposta dipende dalla lingua della richiesta dell’utente.

Gli autori hanno tradotto soltanto la richiesta in ogni passaggio etichettato, mantenendo invariati cronologia, azione, informazioni sull’ambiente ed etichetta, poi hanno confrontato i verdetti dei controlli tra le lingue.

La traduzione ha cambiato i verdetti della maggior parte dei controlli aperti, piccoli e progettati appositamente più di quanto spiegato dalla variabilità dei rispettivi placebo. Le riformulazioni in inglese hanno prodotto cambiamenti minori, sostenendo l’interpretazione di un effetto specifico della lingua.

Per Nemotron Nano 9B, le richieste in amarico hanno ridotto la frequenza con cui il controllo bloccava correttamente passaggi etichettati come non sicuri: un esempio concreto delle conseguenze dei cambiamenti.

Il benchmark riutilizza passaggi con etichette già assegnate e non esegue chiamate agli strumenti. Inoltre, gli intervalli di incertezza degli autori potrebbero essere troppo stretti: i risultati sono raggruppati per traiettoria, mentre la traduzione viene applicata a ogni istruzione.