FR
Merlin aide les modèles à long contexte à pondérer les segments utiles
Multi-State Linear Attention with Generalized Second-Order Routing · arXiv:2610.37645
En termes simples
Certains modèles de langue découpent les textes longs en morceaux et gardent une mémoire distincte pour chacun. Quand ils répondent à une question, ils combinent les informations de ces morceaux.
Cet article présente Merlin, une méthode qui aide à choisir les morceaux utiles en examinant à la fois la correspondance moyenne avec la question et la variation de cette correspondance entre les mots du morceau. Dans un petit diagnostic, Merlin a donné le poids le plus élevé au morceau qui contenait les éléments de réponse, parmi les méthodes comparées.
Les auteurs ont aussi rapporté des scores moyens plus élevés sur des tâches à long contexte pour deux types de modèles évalués, sur des exemples de 16K tokens maximum.
La recherche
Quand une requête porte sur un fait enfoui dans un long contexte, qu’est-ce qui doit déterminer la contribution de chaque segment condensé ? La position peut favoriser les informations récentes, tandis que la correspondance moyenne entre les clés et la requête peut passer à côté d’un segment contenant quelques clés qui correspondent fortement.
Reste donc à savoir si mesurer la variation au sein d’un segment peut mieux acheminer les informations utiles.
Merlin conserve deux résumés des clés de chaque segment afin que chaque requête puisse pondérer les résultats selon la correspondance moyenne et sa variation.
Les auteurs ont entraîné des modèles Gated DeltaNet et Mamba-2 à mémoire multi-état avec Merlin, puis les ont comparés à Meanpool, qui pondère les segments selon leur correspondance moyenne.
LongBench évalue les questions-réponses à long contexte, le résumé et des tâches apparentées ; sur onze sous-tâches, les scores moyens étaient plus élevés avec Merlin : 21.9 contre 19.3 pour Gated DeltaNet, et 20.6 contre 18.4 pour Mamba-2.
Dans un diagnostic distinct, Merlin a attribué le poids le plus élevé au segment contenant la réponse, parmi les méthodes comparées. Ensemble, ces résultats étayent une amélioration du routage et des scores aux tâches pour les modèles évalués.
L’évaluation LongBench comprend uniquement des exemples dont le contexte ne dépasse pas 16K tokens. Le diagnostic distinct sur le routage porte sur 30 exemples TriviaQA avec un contexte de 4K et mesure le poids attribué à un segment, pas l’exactitude des réponses.
Ces résultats n’établissent donc pas les performances sur des contextes plus longs ni sur d’autres modèles.
Ce que montrent les preuves
- Quels segments doivent contribuer ?
La Multi-state linear attention divise un long contexte en segments, conserve une mémoire pour chacun et combine leurs résultats pour une requête. Merlin est une méthode conçue pour ce dispositif, qui modifie la pondération de ces résultats.
La question est de savoir si la position d’un segment ou sa correspondance moyenne avec la requête fournit assez d’informations pour déterminer sa contribution.
- Pourquoi une moyenne peut masquer des indices
La pondération selon la position n’examine pas le contenu d’un segment. Celle fondée sur la moyenne mesure la correspondance moyenne entre la requête et les clés du segment, mais cette moyenne peut masquer quelques clés qui correspondent fortement parmi de nombreuses clés qui correspondent peu.
Merlin répond à cette limite en utilisant à la fois la correspondance moyenne et sa variation dans le segment pour pondérer le résultat de celui-ci.
- Un contrôle ciblé du routage
Dans un diagnostic portant sur 30 exemples TriviaQA sélectionnés au hasard, avec un contexte de 4K, les auteurs ont mesuré le poids attribué au segment contenant les éléments de réponse. Merlin lui a attribué un poids supérieur à celui des méthodes fondées uniquement sur la position ou sur la moyenne.
Cela renseigne sur le routage de l’information, mais le diagnostic ne mesure pas si le modèle a produit la bonne réponse.
- Scores sur des tâches à long contexte
Les auteurs ont aussi évalué des modèles Gated DeltaNet et Mamba-2 à mémoire multi-état sur LongBench, qui teste les questions-réponses à long contexte, le résumé et des tâches apparentées. Sur onze sous-tâches et des exemples limités à 16K tokens, Merlin a obtenu un score moyen supérieur à celui de Meanpool, qui utilise uniquement la correspondance moyenne.
Cette comparaison étaye l’obtention de meilleurs scores par ces modèles dans les conditions rapportées.
Détails
- Auteurs de l’article original
- Hee Seung Hwang, Sanghyuk Chun, Xindi Wu, Olga Russakovsky, Zhiwei Deng
- Soumis à arXiv
- Licence
- CC BY 4.0