Por qué algunas infracciones de propósito exigen comparar ejecuciones de agentes

¿Puede una barrera de autorización que comprueba cada llamada a una herramienta por separado hacer cumplir una regla sobre lo que un agente puede revelar para cumplir el propósito de una tarea? El artículo plantea esta pregunta porque una secuencia de acciones permitidas puede infringir una regla global y porque evaluar el propósito puede requerir comparar más de una ejecución.

El artículo formaliza un punto ciego de las barreras que revisan llamadas a herramientas e introduce AL-Synth para construir ejemplos de reglas que fallan al aplicarse acción por acción.

¿Puede una barrera que revisa una acción de herramienta a la vez hacer cumplir una regla sobre el propósito? Los autores formalizan una infracción como dos ejecuciones de la misma tarea y con el mismo contexto autorizado para el propósito, pero con revelaciones diferentes.

Demuestran que cada ejecución cumple la regla por separado; por tanto, un monitor que solo ve una y evita falsas alarmas en ejecuciones conformes debe pasar por alto el par.

AL-Synth construye ejemplos de este tipo a partir de modelos simbólicos de agentes. En las pruebas con jueces, ocho de nueve modelos nunca bloquearon el testigo al evaluar cada acción por separado, mientras que ocho lo identificaron en las 30 repeticiones al ver ambas ejecuciones.

Esto respalda la conclusión formal: para detectar esta clase de infracción hay que comparar ejecuciones o aceptar falsas alarmas.

El límite formal se aplica cuando el propósito depende realmente de comparar ejecuciones autorizadas localmente. El sintetizador se valida con modelos simbólicos pequeños, no mediante un estudio de escalabilidad, y las tareas son sintéticas.

Por separado, la campaña con jueces evalúa modelos como jueces, los estudios con agentes en vivo abarcan dos familias de modelos y la cobertura de las barreras de seguridad se infiere de diseños publicados.