Las peticiones traducidas pueden cambiar los veredictos de seguridad de los protectores de agentes
En palabras sencillas
Algunos programas revisan la siguiente llamada a una herramienta que propone un agente y la bloquean si la acción parece insegura teniendo en cuenta la petición del usuario y lo ocurrido antes. El artículo presenta LinguaGuardBench, una prueba para comprobar si esos programas dan el mismo veredicto cuando solo se traduce la petición. La mayoría de los protectores abiertos, pequeños y diseñados específicamente para esta tarea cambiaron sus veredictos más con la traducción que con un control placebo que solo modificaba los espacios en blanco.
En el caso de Nemotron Nano 9B, las peticiones en amhárico hicieron que bloqueara menos pasos etiquetados como inseguros que las peticiones en inglés. El resultado se limita a los protectores y pasos evaluados.
La investigación
Si un control de seguridad de un agente recibe la petición del usuario en otro idioma, ¿juzgará de la misma manera la misma acción propuesta? El artículo pregunta si el idioma de la petición cambia el veredicto del protector incluso cuando la acción y el resto del paso etiquetado se mantienen fijos.
LinguaGuardBench comprueba si traducir solo una petición del usuario cambia el veredicto de los protectores sobre el mismo paso etiquetado de llamada a herramienta.
LinguaGuardBench comprueba si el juicio de un protector sobre una llamada a herramienta propuesta depende del idioma de la petición del usuario.
Los autores tradujeron solo la petición de cada paso etiquetado y mantuvieron fijos el historial, la acción, la información del entorno y la etiqueta; después compararon los veredictos de los protectores entre idiomas.
La mayoría de los protectores abiertos, pequeños y diseñados específicamente para esta tarea cambiaron sus veredictos más allá de la variación de sus propios controles placebo. Las reformulaciones en inglés provocaron cambios menores, lo que respalda un efecto específico del idioma.
En Nemotron Nano 9B, las peticiones en amhárico redujeron la tasa con que bloqueaba correctamente pasos etiquetados como inseguros, un ejemplo concreto de las consecuencias de esos cambios.
El benchmark reutiliza pasos etiquetados y no ejecuta llamadas a herramientas. Además, los intervalos de incertidumbre de los autores podrían ser demasiado estrechos porque agrupan los resultados por trayectoria, aunque la traducción se aplica a cada instrucción.
Análisis
Detalles
- Autores del paper original
- Hasan Demirkiran, Jens Ernstberger
- Enviado a arXiv
- Licencia
- arXiv non-exclusive