Pourquoi certaines violations de finalité exigent de comparer les exécutions d’un agent

Un garde-fou d’autorisation qui vérifie chaque appel d’outil séparément peut-il faire respecter une règle sur ce qu’un agent a le droit de divulguer pour une tâche donnée ?

L’article pose cette question parce qu’une suite d’actions autorisées peut enfreindre une règle globale, et que la finalité peut dépendre de la comparaison de plusieurs exécutions.

L’article formalise un angle mort des garde-fous d’appels d’outils et présente AL-Synth, qui construit des exemples montrant quand les règles applicables à toute une tâche ne sont pas respectées par composition.

Un garde-fou qui vérifie chaque action d’outil séparément peut-il faire respecter une règle portant sur la finalité ? Les auteurs formalisent une violation comme une paire d’exécutions ayant la même tâche et le même contexte autorisé par la finalité, mais des divulgations différentes.

Ils prouvent que chaque exécution est conforme prise seule ; un moniteur qui n’en voit qu’une et évite les fausses alertes sur les exécutions conformes doit donc manquer la paire.

AL-Synth construit de tels exemples à partir de modèles symboliques d’agents. Lors des tests avec des juges, huit des neuf modèles n’ont jamais bloqué le témoin en examinant les actions une par une, tandis que huit l’ont identifié lors des 30 répétitions quand ils voyaient les deux exécutions.

Ces résultats étayent la conclusion formelle : détecter ce type de violation exige de comparer les exécutions ou d’accepter des fausses alertes.

La limite formelle s’applique lorsque la finalité est réellement relationnelle pour des exécutions autorisées localement. Le synthétiseur est validé sur de petits modèles symboliques, et non dans une étude de passage à l’échelle ; les tâches sont synthétiques.

Par ailleurs, la campagne avec des juges évalue des modèles en tant que juges, les études avec agents en direct couvrent deux familles de modèles, et la couverture des garde-fous est déduite de conceptions publiées.