IT
I sistemi di memoria faticano a trasformare la cronologia in scelte valide
HABIT-Bench: Evaluating Habit Induction from Longitudinal Weak Evidence in Agent Memory · arXiv:2610.24520
In parole semplici
HABIT-Bench verifica se la memoria di un assistente AI lo aiuta a usare correttamente le abitudini di una persona. Una scelta passata potrebbe valere soltanto in una certa situazione, e un suggerimento che la persona non ha mai accettato non dovrebbe essere trattato come una sua preferenza.
La prova fornisce a un modello una richiesta, quattro possibili azioni e il contesto prodotto da un sistema di memoria; poi controlla se sceglie l’azione valida. In una delle configurazioni valutate, il miglior metodo di memoria ha ottenuto un punteggio simile a quello di un metodo che recuperava sessioni passate. Un controllo con la cronologia compattata ha superato i metodi di memoria.
La ricerca
Quando un assistente dispone di una lunga cronologia di interazioni, come può capire se una scelta ripetuta è un’abitudine stabile, un’eccezione legata al contesto o soltanto un suggerimento mai accettato dall’utente?
La cronologia può contenere indizi senza rendere ovvia la scelta corretta in una situazione successiva.
HABIT-Bench verifica se i sistemi di memoria deducono le abitudini dell’utente da cronologie incomplete e le applicano a scelte successive.
Un agente può dedurre l’abitudine di un utente da una lunga cronologia e capire quando si applica? HABIT-Bench lo verifica con cronologie sintetiche e richieste successive in cui contano il contesto, le eccezioni e l’eventuale accettazione di un suggerimento da parte dell’utente.
I metodi di memoria forniscono il contesto a un modello che sceglie tra quattro azioni; il valutatore assegna un punteggio alle corrispondenze esatte con la scelta valida. Nella configurazione con GLM-5.3-Flash, il miglior metodo di memoria ha ottenuto un punteggio vicino a quello del recupero delle sessioni, mentre un controllo con la cronologia compattata ha superato tutti e otto i metodi di memoria.
Questi risultati sostengono l’interpretazione degli autori secondo cui pipeline di memoria elaborate non migliorano con costanza queste decisioni.
Le cronologie sono percorsi sintetici controllati, non registrazioni longitudinali delle persone i cui dialoghi orientati ai compiti hanno fornito i dati iniziali. Travel è un insieme diagnostico, non una prova indipendente di generalizzazione.
Inoltre, le differenze nel modo in cui viene costruito il contesto e nei budget disponibili fanno sì che i confronti valutino pipeline complete, senza isolare un’architettura di memoria.
Cosa mostrano le prove
- Una cronologia non è un’abitudine
HABIT-Bench è un benchmark che valuta se gli agenti basati su modelli linguistici riescono a dedurre abitudini comportamentali da indizi incompleti raccolti in sessioni diverse e ad applicarle a richieste successive.
La domanda è rilevante perché le interazioni passate possono essere ambigue: una scelta ripetuta potrebbe dipendere dal contesto, e un suggerimento dell’assistente non diventa una preferenza dell’utente solo perché compare nella cronologia.
- Come vengono valutate le scelte
Il benchmark crea cronologie sintetiche in quattro domini e chiede a un modello condiviso di scegliere una delle quattro azioni disponibili per ogni richiesta, usando il contesto fornito da un metodo di memoria. Il valutatore confronta la scelta con l’unica azione valida.
I metodi standard vedono soltanto la cronologia disponibile fino a quel momento, non le annotazioni private sulle abitudini, le sessioni future o la risposta corretta.
- Una memoria più elaborata non ha prevalso
Nella configurazione con GLM-5.3-Flash, A-MEM, il metodo di memoria più efficace, ha ottenuto una macro accuracy del 33.61%, vicina al 33.21% di Dense RAG. La macro accuracy è la media non ponderata dell’accuratezza nei quattro domini.
Il controllo Full Memory, che forniva una cronologia compattata, ha ottenuto il 41.98%, superando tutti e otto i metodi di memoria in quella configurazione.
- Gli indizi lasciano ancora del lavoro
In una prova diagnostica, il modello riceveva indizi annotati privati oppure, in una condizione separata, lo stato privato delle abitudini e l’azione richiesta. Con Qwen3-235B-A22B, i punteggi nei domini variavano dal 39.26% al 58.25% con gli indizi annotati e dal 98.41% al 99.26% con lo stato delle abitudini e l’azione.
Il confronto suggerisce che trovare gli indizi e usarli per ricostruire una decisione valida siano sfide distinte, anche se le condizioni differiscono per le informazioni fornite.
Dettagli
- Autori del paper originale
- Junming Zhang, Rubin Wei, Xu Cheng, Hao Sun, Jiarui Wang
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive