Borrar un registro puede dejar su secreto al alcance de un agente
En palabras sencillas
Borrar un registro de la memoria de un agente puede dejar un resumen que conserva la misma información. AfterDeleteBench es una prueba controlada para saber si un agente todavía puede revelar un secreto sintético después de borrar el registro de origen.
La prueba comparó agentes que habían visto el secreto con controles emparejados que nunca lo habían visto. En la prueba principal con Qwen, una sola pregunta recuperó el secreto exacto en aproximadamente dos tercios de los perfiles expuestos; en los controles que nunca lo habían visto, no se recuperó ninguno. El resultado se aplica a la configuración de memoria y a los secretos probados.
La investigación
Si alguien borra un registro de la memoria de un agente, ¿deja el agente de revelar lo que contenía? Un resumen u otro registro derivado puede permanecer después de que desaparezca la entrada de origen; por eso, la pregunta conductual es si el agente aún puede recuperar esa información.
AfterDeleteBench compara agentes expuestos y luego sometidos al borrado con controles que nunca vieron el secreto, para evaluar si la memoria persistente aún revela un secreto sintético.
Después de borrar un registro, ¿puede un agente seguir revelando información que vio antes? AfterDeleteBench examina esta pregunta con agentes de pesos fijos y memoria externa persistente, en la que pueden permanecer resúmenes u otros registros derivados tras eliminar la entrada original.
El benchmark compara agentes expuestos antes del borrado con controles emparejados que nunca vieron el secreto. En su configuración principal con Qwen, una pregunta directa produjo diferencias de reconstrucción exacta de 0.680 y 0.640 en dos divisiones de perfiles sintéticos, con cero recuperaciones en el escenario limpio.
Esto muestra una recuperación atribuible a la exposición en esa configuración, también en la división separada del generador.
Estos resultados se limitan a objetivos sintéticos de coincidencia exacta, construcciones controladas de memoria externa, estrategias de consulta finitas y formatos de respuesta específicos.
La comparación entre pares atribuye la recuperación a la exposición en esta configuración, pero no calcula cuánta información se conserva tras borrarla en comparación con el recuerdo normal ni establece cómo se comportarían sistemas de memoria diseñados de forma independiente.
Análisis
Detalles
- Autores del paper original
- Ehsan Saleh, Roozbeh Nahavandi, Sama Salarian, Raef Bassily, Andrew Perrault
- Enviado a arXiv
- Licencia
- arXiv non-exclusive