IT
Un metodo individua cambiamenti delle caratteristiche che ricorrono tra prompt
Representation Redistribution in Sparse Autoencoders · arXiv:2610.21240
In parole semplici
Un prompt può cambiare perché si aggiunge contesto, se ne modifica il formato o se ne ritoccano le parole. Una caratteristica che cambia una volta potrebbe non cambiare di nuovo; e anche un cambiamento ripetuto potrebbe non influire su una decisione successiva.
Il paper propone un modo per selezionare le caratteristiche che cambiano ripetutamente nella stessa direzione, poi le verifica su varianti diverse dei prompt. In due calcoli di sicurezza fissi, queste caratteristiche hanno aiutato a ordinare i casi in cui il calcolo prendeva ripetutamente una decisione errata. Il test riguardava i calcoli, non le risposte prodotte dai modelli linguistici.
La ricerca
Quando cambia un prompt, possono cambiare anche le caratteristiche interne di un modello linguistico. Ma quali cambiamenti ricorrono tra versioni correlate, e influiscono su una decisione successiva?
Per rispondere occorre verificare se uno schema persiste oltre gli esempi usati per individuarlo, poi esaminarne il legame con uno specifico calcolo a valle.
RSS seleziona caratteristiche sparse che cambiano ripetutamente in una direzione, poi verifica se questi cambiamenti fissi persistono e influiscono su readout congelati.
I ricercatori hanno chiesto se i cambiamenti delle caratteristiche in risposta a trasformazioni correlate dei prompt ricorrano oltre gli esempi usati per individuarli e se influiscano su una decisione successiva.
RSS seleziona le caratteristiche in base all’ampiezza della risposta, alla ricorrenza e alla coerenza direzionale, poi mantiene fissa la selezione durante i test su varianti distinte.
Nei test con due readout di sicurezza congelati, i cambiamenti selezionati sono persistiti più spesso dei controlli basati solo sull’ampiezza e, combinati con il margine completo dell’input originale, hanno aiutato a ordinare i casi con errori ripetuti del readout.
Questo collega i cambiamenti ricorrenti delle rappresentazioni al comportamento dei readout, mantenendo distinte le due misure.
I risultati funzionali derivano da test offline di due linear readout congelati, usando nuovi esempi delle stesse trasformazioni dei prompt. Non mostrano come si comportano le risposte generate e non dimostrano che i risultati si estendano ad altre trasformazioni o a readout che cambiano.
Cosa mostrano le prove
- Quando i cambiamenti ricorrono
Le parole di un prompt e il materiale che le circonda possono cambiare quali caratteristiche di un autoencoder sparso rispondono. Un cambiamento osservato una volta, però, potrebbe essere specifico di quel prompt; inoltre, la ricorrenza da sola non mostra se un calcolo successivo usi la caratteristica che cambia.
Il redistribution sensitivity score (RSS) seleziona cambiamenti delle caratteristiche che ricorrono con coerenza nella stessa direzione, poi verifica se persistono in varianti escluse dalla selezione.
- Come funziona la selezione
RSS ordina prima le caratteristiche in base all’entità del loro cambiamento assoluto medio. Mantiene poi soltanto quelle che rispondono in un numero sufficiente di esempi usati per la selezione e lo fanno prevalentemente in una direzione.
Le caratteristiche e le direzioni selezionate restano fisse durante la valutazione su varianti distinte. Il test verifica così se uno schema si estende oltre gli esempi usati per individuarlo.
- Schemi oltre gli esempi di selezione
Su 1,000 prompt in inglese e 27 autoencoder preaddestrati, le trasformazioni del contesto e della struttura esterna hanno prodotto profili relativi di risposta più elevati rispetto alle modifiche locali alla richiesta mantenuta.
Nelle varianti escluse, le caratteristiche selezionate da RSS hanno seguito la direzione scelta più spesso delle caratteristiche casuali abbinate per dimensione. Questi risultati supportano la presenza di uno schema ricorrente nelle condizioni testate, ma non affermano che tutte le modifiche ai prompt si comportino allo stesso modo.
- Dalle caratteristiche ai readout
I ricercatori hanno testato anche due readout di sicurezza congelati, cioè calcoli che trasformano i valori delle caratteristiche in punteggi usati per decidere. Su nuove varianti, le caratteristiche RSS hanno mantenuto la direzione selezionata più spesso di quelle scelte soltanto in base all’ampiezza, a parità di dimensione dell’insieme.
Combinare il margine completo dell’input originale con l’erosione stimata dalle caratteristiche RSS ha inoltre permesso di ordinare bene gli errori ricorrenti dei readout. I risultati collegano i cambiamenti ricorrenti delle caratteristiche a questi readout, ma non verificano il comportamento generato dai modelli.
Dettagli
- Autori del paper originale
- Ziye Mei, Haotian Ma
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive