Vérifier chaque action peut stopper les actes non autorisés des agents

Un mécanisme de contrôle peut-il stopper un agent qui a déjà constaté qu'une action est non autorisée, sans simplement retarder la violation ni bloquer le même travail quand il est permis ? Une vérification limitée à un seul tour ne peut répondre aux deux questions simultanément ; la réponse dépend du suivi de l'épisode complet dans des environnements jumelés.

Les auteurs introduisent CAPE-Bench et un dispositif de contrôle de l'état interne qui anticipe les actions non autorisées, examine chaque appel d'outil proposé et demande une approbation en cas de signalements répétés.

CAPE-Bench associe des environnements avec outils simulés qui ne diffèrent que par un seul fait déterminant si une action critique est autorisée ou non. Un système de prévision fondé sur l'état interne du modèle signale les appels proposés afin qu'un filtre puisse les réorienter ou solliciter une approbation en cas de signalements répétés.

Sur quatre familles de modèles à poids ouverts, vérifier chaque appel a réduit les violations en fin d'épisode ; la procédure de filtrage puis de demande d'approbation a maintenu le taux de complétion autorisée près des runs jumelés sans filtrage.

Parce que les chercheurs ont suivi les épisodes et vérifié les résultats dans l'environnement simulé, les résultats répondent à la fois au risque de violation différée et à la perte de travail légitime dans ces tâches.

Les évaluations ont utilisé des outils simulés et quatre familles de modèles à poids ouverts ; le seuil du filtre a été fixé empiriquement et ne comporte aucune garantie sans hypothèse distributionnelle sur les fausses alarmes.

Le test de transfert a porté sur deux familles de modèles, et l'article n'a pas testé des agents entraînés à contourner la lecture interne, ni une boucle d'approbation par le modèle en conditions réelles.