NOMOS rend les politiques écrites plus sûres pour les agents qui utilisent des outils

Si un modèle de langage extrait une règle de travers, un mécanisme d’application déterministe suivra cette erreur à la lettre. Un système peut-il rendre ces garde-fous exploitables sans demander à un autre modèle de juger chaque appel, tout en repérant les règles valides sur le plan structurel mais qui rejettent des opérations légitimes ? NOMOS étudie cette question de conception pour les agents qui utilisent des outils.

NOMOS corrige les règles statiquement, bloque de façon déterministe les appels selon les faits disponibles et rejoue des transcriptions pour rendre les garde-fous de politique extraits exploitables et repérer les associations nuisibles.

D’abord, NOMOS a vérifié les règles extraites au regard des schémas d’outils et de tableaux statiques, puis les a rejouées sur des exécutions enregistrées sans protection.

Un vérificateur indépendant a mesuré les appels enfreignant la politique parmi ceux qui modifiaient des données : avec le garde-fou, les taux sont passés de 66,3 % à 2,6 % dans le domaine aérien et de 30,8 % à 6,9 % dans le commerce de détail.

La réussite des tâches aériennes a progressé de manière significative lorsqu’elle était estimée sur deux à quatre essais par tâche ; celle des tâches de commerce de détail n’a pas changé de manière significative.

Les résultats appuient une exécution plus sûre, mais pas une amélioration universelle des tâches, car les appels refusés et les clauses manquantes dans les règles compilées influent sur les mesures.

La conclusion se limite aux politiques, aux outils et aux évaluateurs testés : les clauses non encodées peuvent rester sans effet, les données structurées des outils sont considérées comme fiables, et le mécanisme contrôle les appels d’outils, pas le texte.

L’étude n’a pas établi le comportement dans des domaines non testés ni face à des données empoisonnées.