NOMOS hace más seguras las políticas escritas para agentes con herramientas

Si un modelo de lenguaje extrae mal una regla, un sistema determinista la aplicará exactamente como está. ¿Puede un sistema hacer operativas estas barreras sin pedir a otro modelo que evalúe cada llamada y, a la vez, detectar reglas válidas desde el punto de vista estructural que rechazan tareas legítimas? NOMOS aborda esa cuestión de diseño para agentes que usan herramientas.

NOMOS añade reparación estática de reglas, bloqueo determinista de llamadas basado en hechos y repetición de transcripciones para hacer operables las barreras de políticas extraídas y filtrar combinaciones perjudiciales.

Primero, NOMOS contrastó las reglas extraídas con los esquemas de las herramientas y tablas estáticas; después, las volvió a ejecutar en registros de ejecuciones sin protección. Un verificador independiente midió las llamadas que infringían políticas entre las que modificaban datos: con la barrera, las tasas bajaron del 66.3% al 2.6% en el sector aéreo y del 30.8% al 6.9% en el comercio minorista.

El éxito en tareas del sector aéreo mejoró significativamente al estimarse con entre dos y cuatro pruebas por tarea; el éxito bruto en tareas del comercio minorista no cambió.

La evidencia respalda una ejecución más segura, no una mejora universal en las tareas, porque los rechazos y las cláusulas que no se compilaron condicionan el resultado medido.

La conclusión se limita a las políticas, herramientas y evaluadores probados: las cláusulas que no se codifican pueden quedar sin aplicar, se confía en los datos estructurados de las herramientas y el control abarca las llamadas a herramientas, no el texto.

El estudio no estableció cómo se comportaría el sistema en dominios no examinados ni ante registros manipulados.