Una barrera de confirmación controla cómo los agentes reutilizan la memoria
PerMIT: Securing Persistent Memory for LLM Agents via Machine-Checked Integrity Theorems and Scalable Community Trust · arXiv:2610.28987
En palabras sencillas
Los agentes pueden guardar información y usarla en sesiones posteriores, pero el texto que recogen de una página web o una herramienta también podría arrastrar un ataque. PerMIT es un sistema propuesto que coloca una barrera de confirmación entre esa información no confiable y la memoria del agente o sus herramientas sensibles.
Antes de la aprobación, el agente ve un identificador, no el contenido. En las pruebas se introdujo un ataque en la memoria y luego se comprobó si se enviaban datos a un atacante.
Las configuraciones de PerMIT con verificadores probadas registraron cero éxitos observados en cuatro modelos base. El resultado se limita a esas pruebas; no demuestra que todos los verificadores o despliegues sean fiables.
La investigación
Si un agente puede guardar texto de una herramienta y actuar después basándose en él, y la memoria compartida puede transmitir ese texto, ¿qué impediría que contenido sin confirmar llegara a herramientas sensibles y, a la vez, permitiría reutilizar conocimientos útiles?
PerMIT hace pasar la memoria no confiable por una barrera de confirmación y permite que valores aprobados exactos y confirmaciones comunitarias autoricen usos posteriores.
Los autores formalizan cómo una interfaz de memoria finita puede controlar qué lee un agente y qué envía a herramientas sensibles.
Sus garantías hacen que la autorización dependa de valores y herramientas exactos, y que el comportamiento protegido dependa de lo que muestra la barrera bajo condiciones de ejecución equivalentes.
En Trojan Hippo, que introduce una carga maliciosa mediante un correo y luego comprueba si el agente envía datos del usuario a un atacante, los sondeos registraron cero éxitos del ataque con la autoverificación de PerMIT y dos verificadores Qwen en cuatro modelos base.
La configuración que acepta todo tuvo éxitos en algunos modelos base. Las pruebas de conocimiento compartido encontraron mejoras de utilidad en telecom para dos grupos de modelos, pero ninguna mejora detectable en el dominio bancario.
Estas garantías dependen de las suposiciones declaradas sobre la interfaz y las aprobaciones.
Las pruebas no establecen que los verificadores sean precisos ni que los sistemas desplegados implementen el modelo fielmente; además, las mejoras por compartir conocimiento variaron según el dominio y el modelo.
Qué muestran las pruebas
- La memoria puede arrastrar ataques
PerMIT es una arquitectura de memoria y un protocolo para compartirla, propuestos para agentes de modelos de lenguaje con memoria persistente. El problema es que la información que un agente lee mediante herramientas o páginas web puede guardarse e influir en acciones posteriores; compartir memoria podría transmitir esa influencia a otros agentes.
Los autores preguntan cómo pueden estos agentes reutilizar memoria controlando a la vez si el contenido no confiable llega a herramientas sensibles.
- Una barrera controla el acceso
PerMIT considera confiables por su procedencia y autorización la información escrita por el usuario y la aprobada en una barrera de confirmación. Hasta que se aprueba, el agente protegido recibe un identificador opaco en lugar del contenido no confiable.
El agente sigue eligiendo sus planes y herramientas; la interfaz controla cómo el contenido de la memoria llega al agente o a una herramienta. Así, la decisión de confirmación es el punto donde el contenido no confiable puede autorizarse.
- La interfaz ofrece garantías
Los resultados formales especifican qué hace cumplir esa barrera. La integridad de las acciones limita los argumentos enviados a herramientas sensibles a valores escritos por el usuario o aprobados para esa herramienta exacta.
La integridad del razonamiento establece que, bajo condiciones de ejecución equivalentes, transcripciones completas e idénticas en pantalla implican el mismo comportamiento del agente protegido. Estas propiedades corresponden a la interfaz modelada bajo los supuestos declarados; no establecen que una aprobación sea correcta en cuanto a los hechos.
- Los ataques observados quedaron contenidos
Trojan Hippo prueba si una carga maliciosa introducida en la memoria mediante un correo lleva después al agente a enviar datos del usuario a un atacante. Los sondeos de los autores registraron cero éxitos observados del ataque con la autoverificación de PerMIT y con dos configuraciones que usan verificadores ligeros Qwen, en cuatro modelos base.
La configuración que acepta todo registró entre cero y 10% de éxitos en esos modelos base; por tanto, el resultado medido se refiere a las barreras y los ataques probados.
- Compartir conocimiento tiene límites
PerMIT también permite acumular confirmaciones de varios usuarios para que las entradas con suficientes aprobaciones puedan reutilizarse. En telecom de τ²-bench, una prueba de tareas de telecomunicaciones simuladas, las puntuaciones agrupadas en tareas reservadas para evaluación mejoraron de forma significativa frente a no compartir conocimiento para Claude-Sonnet-4.6 y Kimi-K2.5, pero no para GLM-5.
En el dominio bancario, ninguno de los tres grupos de modelos probados mostró una mejora detectable. Los resultados indican que la utilidad depende del dominio y del modelo probados.
Detalles
- Autores del paper original
- Tanqiu Jiang, Min Bai, Sadat Shahriar, Wanyu Du, Sandesh Swamy
- Enviado a arXiv
- Licencia
- CC BY 4.0