Extraire les statistiques d’attention sans stocker les matrices complètes

Un détecteur de réponses non étayées peut devoir examiner un modèle différent de celui qui les a rédigées, car le modèle rédacteur peut ne pas révéler son fonctionnement interne.

Un modèle distinct peut-il utiliser les indices d’attention pour vérifier si une réponse correspond au contexte fourni, et peut-on recueillir ces indices sans stocker une immense matrice d’attention ?

L’article présente une méthode et un backend Triton qui extraient des statistiques d’attention sans stocker les matrices complètes, puis teste des détecteurs proxy de l’appui du contexte.

Un détecteur peut-il vérifier si une réponse correspond au contexte fourni lorsque l’on ne peut pas examiner le modèle qui l’a rédigée ?

L’article teste un modèle proxy Qwen3 distinct, dont les paramètres sont figés : il lit le contexte, la question et la réponse, puis un classificateur entraîné prédit si le contexte l’étaye.

Sur trois jeux de données, les auteurs comparent des classificateurs avec et sans caractéristiques d’attention, ainsi que des détecteurs proxy à des juges guidés par consigne. Un proxy 4B dépasse le juge évalué le plus performant en F1 sur deux jeux de données, tandis qu’un proxy 0.6B le dépasse sur le troisième. Le F1 met en balance les réponses non étayées repérées et les fausses alertes.

Ces résultats concernent les jeux de données, les modèles proxy Qwen3, les juges et l’implémentation testés. Le modèle proxy évalue si la réponse est étayée par le contexte fourni, et deux statistiques implémentées diffèrent de leurs définitions publiées ; ces versions n’ont pas été comparées pour la détection.