FR
Les systèmes de mémoire peinent à tirer de bons choix de l’historique utilisateur
HABIT-Bench: Evaluating Habit Induction from Longitudinal Weak Evidence in Agent Memory · arXiv:2610.24520
En termes simples
HABIT-Bench vérifie si la mémoire d’un assistant IA l’aide à tenir compte des habitudes d’une personne. Un choix passé peut dépendre d’une situation particulière, et une suggestion que la personne n’a jamais acceptée ne doit pas être prise pour une préférence.
Le test donne à un modèle une demande, quatre actions possibles et le contexte fourni par un système de mémoire. Il vérifie ensuite si le modèle choisit l’action valide.
Dans l’une des configurations testées, la meilleure méthode de mémoire a obtenu un score proche de celui d’une méthode qui récupérait des sessions passées ; un contrôle utilisant un historique condensé a fait mieux que les méthodes de mémoire.
La recherche
Quand un assistant dispose d’un long historique d’interactions, comment peut-il distinguer un choix répété qui constitue une habitude durable, une exception liée au contexte ou une simple suggestion que l’utilisateur n’a jamais acceptée ? L’historique peut contenir des indices sans rendre évidente la bonne action à choisir ensuite.
HABIT-Bench évalue si les systèmes de mémoire déduisent les habitudes d’un utilisateur à partir d’historiques incomplets et les appliquent à des choix ultérieurs.
Un agent peut-il déduire le comportement habituel d’un utilisateur à partir d’un long historique et savoir quand il s’applique ?
HABIT-Bench évalue cette capacité au moyen d’historiques synthétiques et de demandes ultérieures où le contexte, les exceptions et l’acceptation d’une suggestion par l’utilisateur comptent.
Les méthodes de mémoire fournissent du contexte à un modèle qui choisit parmi quatre actions ; l’évaluateur vérifie si son choix correspond exactement à l’action valide. Dans la configuration GLM-5.3-Flash, la meilleure méthode de mémoire a obtenu un score proche de celui de la récupération de sessions, tandis qu’un contrôle utilisant un historique condensé a dépassé les huit méthodes de mémoire.
Ces résultats étayent l’interprétation des auteurs selon laquelle les chaînes de traitement mémoire élaborées n’améliorent pas systématiquement ces décisions.
Les historiques sont des parcours de vie synthétiques et contrôlés, et non des dossiers longitudinaux des personnes dont les dialogues de tâches ont servi de point de départ. Travel est un ensemble de diagnostic, pas un test indépendant de généralisation.
Comme les méthodes construisent le contexte différemment et disposent de budgets différents, les comparaisons évaluent des chaînes de traitement complètes plutôt que l’effet isolé d’une architecture mémoire.
Ce que montrent les preuves
- Un historique ne suffit pas à établir une habitude
HABIT-Bench est un benchmark qui évalue si des agents fondés sur des modèles de langage peuvent déduire des comportements habituels à partir d’indices incomplets répartis entre plusieurs sessions, puis les appliquer à des demandes ultérieures.
La question compte, car les interactions passées peuvent être ambiguës : un choix répété peut dépendre du contexte, et une suggestion de l’assistant ne devient pas une préférence de l’utilisateur simplement parce qu’elle figure dans l’historique.
- Comment les choix sont évalués
Le benchmark crée des historiques synthétiques dans quatre domaines et demande à un même modèle de choisir l’une des quatre actions pour chaque requête, à partir du contexte fourni par une méthode de mémoire. L’évaluateur compare son choix à l’unique action valide.
Les méthodes standard ne voient que l’historique disponible à ce moment-là, sans les annotations privées sur les habitudes, les sessions futures ni la réponse attendue.
- Une mémoire plus élaborée n’a pas fait mieux
Dans la configuration GLM-5.3-Flash, A-MEM, la méthode de mémoire la plus performante, a obtenu 33.61% de macro-exactitude, proche des 33.21% de Dense RAG. La macro-exactitude est la moyenne non pondérée des scores des quatre domaines.
Le contrôle Full Memory, qui fournissait un historique condensé, a obtenu 41.98%, soit un score supérieur à celui des huit méthodes de mémoire dans cette configuration.
- Les éléments seuls ne suffisent pas
Un diagnostic fournissait au modèle des éléments annotés privés ou, dans une autre condition, l’état privé des habitudes et l’action requise. Avec Qwen3-235B-A22B, les scores allaient de 39.26% à 58.25% selon les domaines avec les éléments annotés, contre 98.41% à 99.26% avec l’état des habitudes et l’action.
Cet écart suggère que repérer des éléments et s’en servir pour reconstituer une décision valide sont deux difficultés distinctes, même si les conditions diffèrent aussi par les informations fournies.
Détails
- Auteurs de l’article original
- Junming Zhang, Rubin Wei, Xu Cheng, Hao Sun, Jiarui Wang
- Soumis à arXiv
- Licence
- arXiv non-exclusive