FR
Une méthode repère les changements de caractéristiques récurrents dans les prompts
Representation Redistribution in Sparse Autoencoders · arXiv:2610.21240
En termes simples
Modifier un prompt peut consister à ajouter du contexte, à changer son format ou à reformuler la demande. Une caractéristique qui change une fois ne changera pas forcément à nouveau ; et même un changement répété peut ne pas influer sur une décision ultérieure.
L’article propose une méthode pour repérer les caractéristiques qui changent de façon répétée dans la même direction, puis les vérifie sur d’autres variantes de prompts. Dans deux calculs de sécurité figés, ces caractéristiques ont aidé à classer les cas où le calcul prenait plusieurs fois une mauvaise décision. Le test porte sur les calculs, pas sur les réponses produites par les modèles de langage.
La recherche
Quand un prompt change, les caractéristiques internes d’un modèle de langage peuvent changer elles aussi. Mais quels changements se répètent entre des versions apparentées, et influent-ils sur une décision ultérieure ?
Pour répondre à ces deux questions, il faut vérifier si un motif persiste au-delà des exemples qui ont servi à le repérer, puis tester son lien avec un calcul précis effectué en aval.
Le RSS sélectionne des caractéristiques parcimonieuses qui changent de façon répétée dans une même direction, puis vérifie si ces changements fixes persistent et influent sur des calculs figés.
Les chercheurs ont demandé si les changements de caractéristiques provoqués par des transformations apparentées de prompts se répètent au-delà des exemples qui ont servi à les repérer, et s’ils influent sur une décision ultérieure.
Le RSS sélectionne les caractéristiques selon l’ampleur de leur réponse, leur récurrence et la cohérence de leur direction, puis garde cette sélection fixe pour tester d’autres variantes.
Dans deux calculs de sécurité figés, les changements sélectionnés persistaient davantage que ceux des contrôles fondés uniquement sur l’ampleur. Combinés à la marge complète de l’entrée sans transformation, ils aidaient aussi à classer les cas d’erreurs répétées du calcul.
Ces résultats relient les changements récurrents des représentations au comportement des calculs, tout en distinguant les deux mesures.
Les résultats fonctionnels proviennent de tests hors ligne de deux calculs linéaires de sécurité figés, avec de nouveaux exemples des mêmes transformations de prompts.
Ils ne montrent pas le comportement des réponses générées et n’établissent pas que les résultats se généralisent à d’autres transformations ou à des calculs qui évoluent.
Ce que montrent les preuves
- Quand les changements se répètent
La formulation d’un prompt et le contexte qui l’entoure peuvent modifier les caractéristiques activées par un autoencodeur parcimonieux. Mais un changement observé peut être propre à ce prompt, et sa récurrence ne montre pas à elle seule qu’un calcul ultérieur utilise la caractéristique qui change.
Le score de sensibilité à la redistribution (RSS) sélectionne les changements de caractéristiques qui se répètent dans une direction cohérente, puis vérifie s’ils persistent dans des variantes écartées de la sélection.
- Comment fonctionne la sélection
Le RSS classe d’abord les caractéristiques selon l’ampleur moyenne de leur changement absolu. Il ne retient ensuite que celles qui réagissent dans suffisamment d’exemples de sélection et le font principalement dans une seule direction.
Les caractéristiques et leurs directions restent fixes pendant l’évaluation sur des variantes distinctes. Le test vérifie ainsi si le motif persiste au-delà des exemples qui ont servi à le repérer.
- Des motifs au-delà de la sélection
Sur 1 000 prompts en anglais et 27 autoencodeurs préentraînés, les transformations du contexte et de l’enveloppe du prompt présentaient des profils de réponse relatifs plus élevés que les modifications locales de la requête conservée. Sur les variantes écartées de la sélection, les caractéristiques retenues par le RSS suivaient leur direction choisie plus souvent que des caractéristiques aléatoires appariées en taille.
Ces résultats étayent l’existence d’un motif récurrent dans les conditions testées, sans affirmer que toutes les modifications de prompts se comportent de la même façon.
- Des caractéristiques aux calculs de décision
Les chercheurs ont aussi testé deux calculs de sécurité figés, qui transforment des valeurs de caractéristiques en scores utilisés pour prendre des décisions. Sur de nouvelles variantes, les caractéristiques RSS conservaient plus souvent leur direction choisie que celles sélectionnées uniquement selon l’ampleur, à taille d’ensemble égale.
La combinaison de la marge complète de l’entrée sans transformation et de l’érosion estimée à partir des caractéristiques RSS classait également bien les erreurs récurrentes du calcul. Ces résultats relient les changements récurrents de caractéristiques à ces calculs, sans évaluer le comportement des modèles lorsqu’ils génèrent des réponses.
Détails
- Auteurs de l’article original
- Ziye Mei, Haotian Ma
- Soumis à arXiv
- Licence
- arXiv non-exclusive