Eliminare un documento può lasciare il segreto recuperabile da un agente
In parole semplici
Eliminare un documento dalla memoria di un agente può lasciare un riepilogo che contiene ancora le stesse informazioni. AfterDeleteBench è un test controllato per verificare se un agente riesca ancora a rivelare un segreto sintetico dopo l’eliminazione del documento d’origine.
Il test ha confrontato agenti che avevano visto il segreto con agenti di controllo abbinati che non l’avevano mai visto. Nel test principale con Qwen, una sola domanda ha recuperato il segreto esatto in circa due terzi dei profili esposti; nei controlli mai esposti non l’ha recuperato nessuno. Il risultato vale per la configurazione di memoria e i segreti testati.
La ricerca
Se si elimina un documento dalla memoria di un agente, l’agente smette di rivelarne il contenuto? Dopo la rimozione della fonte, possono restare un riepilogo o altri documenti derivati; la domanda comportamentale è quindi se l’agente riesca ancora a recuperare quelle informazioni.
AfterDeleteBench confronta agenti esposti prima dell’eliminazione del record sorgente con controlli mai esposti per verificare se la memoria persistente riveli ancora un segreto sintetico.
Dopo l’eliminazione di un documento, un agente può ancora rivelare informazioni che aveva visto? AfterDeleteBench esamina questa domanda con agenti dai pesi fissi e memoria esterna persistente, in cui riepiloghi o altri documenti derivati possono restare anche dopo la rimozione della voce originale.
Il benchmark confronta agenti esposti prima dell’eliminazione con controlli abbinati mai esposti. Nella configurazione principale con Qwen, una domanda diretta ha prodotto differenze nel tasso di ricostruzione esatta pari a 0.680 e 0.640 in due gruppi di profili sintetici, mentre il recupero nei controlli era zero.
Questo mostra un recupero attribuibile all’esposizione in quella configurazione, anche nel gruppo generato senza usare i dati del generatore di addestramento.
Questi risultati riguardano obiettivi sintetici da ricostruire alla lettera, configurazioni controllate di memoria esterna, strategie di interrogazione finite e formati di risposta specifici.
Il confronto tra gruppi attribuisce il recupero all’esposizione in questa configurazione, ma non stima quante informazioni restino recuperabili rispetto al normale richiamo né stabilisce come si comportino sistemi di memoria progettati in modo indipendente.
Analisi
Dettagli
- Autori del paper originale
- Ehsan Saleh, Roozbeh Nahavandi, Sama Salarian, Raef Bassily, Andrew Perrault
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive