Addestrare guardrail su più formati migliora i giudizi di sicurezza

Un guardrail può funzionare con prompt o risposte, ma avere difficoltà quando lo stesso caso di sicurezza compare in una conversazione, nel resoconto dell’uso di strumenti da parte di un agente o sotto una regola variabile.

Addestrarlo su più formati dello stesso caso può aiutarlo a mantenere affidabili sia i giudizi di sicurezza sia la confidenza?

UniGuard addestra un guardrail su formati allineati dello stesso caso di sicurezza per migliorare giudizi e confidenza quando cambia l’interfaccia.

Un guardrail può continuare a formulare giudizi di sicurezza affidabili quando lo stesso caso viene presentato in un formato diverso o secondo una regola di sicurezza variabile?

UniGuard affronta la questione addestrando il sistema su più rappresentazioni allineate di ogni caso e usando la concordanza tra queste rappresentazioni per orientare sia la classificazione sia la confidenza.

In tre test su formati non familiari di tracce degli agenti e su regole specificate dall’esterno, UniGuard-0.6B ha migliorato la qualità media della classificazione binaria e l’affidabilità della confidenza rispetto al guardrail di base preaddestrato. I risultati supportano l’approccio per questi cambiamenti di interfaccia testati.

I risultati riguardano tre cambiamenti di interfaccia studiati, non nuovi ambiti di sicurezza, strumenti, policy o errori degli agenti. UniGuard-FT usa rappresentazioni generate a partire da 1,000 casi di base, che potrebbero non cogliere la varietà dei sistemi reali.