FR
Pourquoi les seuils fixes peuvent échouer quand le stock de souvenirs grandit
The Price of Scale in Proactive Memory Recall · arXiv:2610.34507
En termes simples
Un assistant à mémoire proactive décide de rappeler un élément d’une conversation précédente, même si personne ne le lui demande. À mesure que son stock grandit, comparer un message à davantage de souvenirs augmente le risque qu’un souvenir sans rapport semble correspondre.
L’article explique cet effet et présente un mécanisme de filtrage qui compare le meilleur score d’un message aux scores d’autres messages. Dans les tests de rejeu sur LongMemEval, ce mécanisme a maintenu les fausses alertes autour de 5 % pour les tailles de stock testées, avec des taux de détection proches de ceux obtenus avec un seuil réglé à l’aide d’étiquettes.
La recherche
Quand un assistant rappelle un ancien détail sans qu’on le lui demande, comment éviter que ses interruptions deviennent plus fréquentes à mesure que son stock de souvenirs se remplit ? L’article examine comment les fausses alertes et les rappels réussis évoluent avec la taille du stock, et si un mécanisme peut maîtriser les fausses alertes sans exemples étiquetés.
L’article modélise l’effet de la croissance du stock sur les fausses alertes et propose un mécanisme par échange des signaux, sans étiquettes, pour les maîtriser lorsque les signaux de référence sont échangeables avec le signal actuel.
Les auteurs utilisent des jeux de données de rejeu associant questions et historiques pour mesurer si un mécanisme fait remonter un souvenir pertinent ou intervient alors qu’aucun souvenir n’est pertinent. Leur théorie indique que, pour maintenir le taux global de fausses alertes à mesure que le stock grandit, chaque comparaison avec un souvenir doit être plus sélective.
Sur LongMemEval-M, un seuil réglé avec huit souvenirs a pourtant produit 87 % de fausses alertes avec 2 048 souvenirs pour le calcul fondé sur cosine.
Un mécanisme par échange des signaux fixe son seuil en comparant le meilleur score du signal actuel aux scores d’autres signaux, sans réglage à l’aide d’étiquettes. Dans quatre configurations de LongMemEval, ses taux de fausses alertes sont restés entre 2,8 % et 5,9 %, et son taux de détection se situait à quelques points de celui d’un seuil par score z réglé avec des étiquettes.
Ces résultats étayent la méthode dans les conditions de rejeu testées, tandis que LoCoMo montre que ses performances dépendent des signaux de référence.
La garantie fondée sur l’échange des signaux suppose que les signaux de référence soient échangeables avec le signal actuel.
Les tests de rejeu utilisent des questions de benchmark et des signaux rédigés par des modèles, plutôt que des messages de vrais utilisateurs, et toutes les expériences sont menées en anglais.
Ce que montrent les preuves
- Davantage de souvenirs, davantage de comparaisons
L’article étudie le rappel proactif de souvenirs : un logiciel décide de rappeler ou non un souvenir stocké sans qu’on le lui demande. Chaque nouveau message est comparé à tous les souvenirs, et le mécanisme intervient si le meilleur score dépasse un seuil.
La question centrale est de savoir comment maîtriser les fausses alertes à mesure que le nombre de souvenirs augmente, tout en continuant à faire remonter les souvenirs pertinents.
- Les seuils fixes perdent le contrôle
Les auteurs rejouent LongMemEval et LoCoMo, des jeux de données associant des questions à des historiques de conversation. Ils utilisent les tours de parole des utilisateurs comme souvenirs et les questions comme signaux.
Lors d’un rejeu de LongMemEval-M avec des questions explicites et des représentations bge-small, les seuils de cosine et de tf-idf ont chacun été réglés pour produire 5 % de fausses alertes avec huit souvenirs. Maintenus ensuite à cette valeur, ils ont produit respectivement 87 % et 100 % de fausses alertes dans les essais sans souvenir pertinent, avec 2 048 souvenirs.
- La théorie suit l’évolution des détections
L’analyse théorique explique cette tendance en supposant que les scores des souvenirs non pertinents sont indépendants entre eux et du score d’un souvenir pertinent.
Pour maintenir le taux global de fausses alertes à α parmi N souvenirs non pertinents, chaque comparaison doit avoir une probabilité de faux positif d’environ −ln(1−α)/N. Pour un mécanisme oracle fondé sur cosine, le taux de détection prévu par l’analyse correspondait aux taux observés à 0,9 point de pourcentage près pour les tailles de stock LongMemEval-M testées.
- Le calibrage arbitre entre fausses alertes et détection
La normalisation par score z pour chaque signal peut préserver davantage de détections que le calcul fondé sur cosine, à des taux de fausses alertes approximativement similaires. Dans le rejeu de LongMemEval-M avec questions explicites, représentations bge-small et 2 048 souvenirs, le mécanisme par score z réglé avec des étiquettes a détecté 18 % des essais positifs, contre 8 % pour le mécanisme oracle fondé sur cosine.
Le mécanisme par échange des signaux propose ensuite une façon de fixer le seuil sans réglage par étiquettes ; ses résultats dépendent de la comparabilité entre les signaux de référence et le signal actuel.
Détails
- Auteurs de l’article original
- Yichuan Chen, Xin Wang
- Soumis à arXiv
- Licence
- arXiv non-exclusive