IT
Il filtraggio basato sui gradienti rimuove esempi rischiosi dai dati di addestramento
Follow the Gradient: Tracing Safety Degradation Back to Training Data · arXiv:2610.37481
In parole semplici
Alcuni esempi usati per dare istruzioni possono sembrare innocui, ma dopo l’addestramento possono comunque indebolire la sicurezza di un modello linguistico. Questo articolo presenta SimpleLoRIF, un metodo che confronta gli aggiornamenti del modello prodotti da un esempio con quelli associati a risposte non sicure.
Gli autori lo hanno usato per rimuovere il 20% degli esempi di Tulu 3 più simili a quelle risposte, creando SafeTulu. Nei test su tre famiglie di modelli, l’addestramento su SafeTulu ha portato a meno risposte dannose a un tipo di attacco ottimizzato rispetto all’addestramento sull’intero dataset.
I risultati dei test sulle capacità erano in genere simili, ma variavano in base al test e al modello.
La ricerca
Quando gli esempi di istruzioni sembrano innocui, che cosa può rivelare che alcuni potrebbero comunque indebolire la sicurezza di un modello? Gli autori verificano se gli aggiornamenti prodotti nel modello da quegli esempi possano identificare un legame con comportamenti non sicuri.
Questo offre un modo per selezionare i dati di addestramento in base al loro effetto, anziché alle sole parole che contengono.
SimpleLoRIF ordina gli esempi di addestramento in base alla loro similarità dei gradienti con risposte non sicure; gli autori lo usano per filtrare Tulu 3 e creare SafeTulu.
Gli autori hanno verificato se gli effetti degli esempi sugli aggiornamenti del modello potessero rivelare legami con comportamenti non sicuri, anche quando gli esempi sembravano innocui.
In un’analisi del codice insicuro, i punteggi hanno distinto esempi insicuri e sicuri abbinati meglio del caso in entrambe le famiglie di modelli testate, anche se il segnale variava in base alla famiglia e allo stato del modello.
Hanno usato il metodo per rimuovere il 20% degli esempi di Tulu 3 più simili alle risposte non sicure di SafeRLHF. Nelle tre famiglie di modelli, il successo medio di un attacco con prompt dannosi ottimizzati è diminuito rispetto all’addestramento con tutti i dati, mentre i risultati sulle capacità erano in genere simili. Questi risultati sostengono l’approccio di filtraggio nelle valutazioni svolte.
I test SafeTulu misurano il peggioramento della sicurezza generale usando risposte non sicure tratte da un unico insieme di riferimento, SafeRLHF; non verificano comportamenti specifici come l’adulazione né altri insiemi di riferimento.
Le correlazioni osservate negli esempi rimossi non dimostrano che quelle caratteristiche causino il peggioramento della sicurezza.
Cosa mostrano le prove
- Guardare oltre il testo degli esempi
SimpleLoRIF è un metodo basato su embedding dei gradienti: rappresenta un esempio di addestramento con un’approssimazione compatta dell’aggiornamento che quell’esempio produrrebbe nel modello. Gli autori usano la somiglianza con le risposte non sicure per ordinare gli esempi da rimuovere.
Questo affronta un limite che i filtri basati sul contenuto possono non cogliere: gli esempi che peggiorano la sicurezza possono sembrare innocui anche quando il loro effetto sul modello non lo è.
- Verificare il segnale sul codice
Per prima cosa, gli autori hanno verificato se la similarità dei gradienti distinguesse esempi di codice insicuro da esempi di codice sicuro molto simili. Hanno usato risposte di modelli Qwen e Mistral sottoposti a fine-tuning, che Claude 5 Opus aveva giudicato caratterizzati da un comportamento ampiamente disallineato.
La ROC-AUC degli autori misura quanto spesso un esempio di codice insicuro scelto a caso ottiene un punteggio superiore a quello di un esempio di codice sicuro scelto a caso. I risultati erano superiori al livello casuale per entrambe le famiglie e più alti per Mistral.
- Controllare stato e trasferimento
Un controllo ha rilevato che il punteggio di Mistral era 0.431 prima dell’addestramento su codice insicuro e 0.865 dopo. Anche il test di trasferimento ha dato un risultato asimmetrico: gli embedding di Qwen distinguevano meno bene gli esempi di codice quando venivano confrontati con risposte non sicure di Mistral anziché di Qwen.
Questi confronti circoscrivono la diagnosi: il segnale dipende dallo stato del modello e non si trasferisce allo stesso modo tra famiglie.
- Valutare i dati filtrati
Gli autori hanno poi usato SimpleLoRIF per creare SafeTulu, rimuovendo il 20% degli esempi di Tulu 3 più simili alle risposte non sicure di SafeRLHF. Hanno addestrato tre famiglie di modelli sui dati filtrati e le hanno confrontate con modelli addestrati sull’intero Tulu 3.
Nei test GCG, in cui un suffisso testuale ottimizzato cerca di indurre risposte non sicure, il tasso medio di successo dell’attacco era più basso per tutte e tre le famiglie; i risultati sulle capacità erano in genere simili, con alcune differenze a seconda del test e del modello.
- Delimitare la conclusione
Nel loro insieme, i test sostengono l’uso della similarità dei gradienti per individuare esempi associati al peggioramento della sicurezza e mostrano che il filtraggio può ridurre il successo misurato degli attacchi nei modelli testati.
Gli autori hanno inoltre trovato schemi ricorrenti negli esempi rimossi, tra cui errori nell’esecuzione di strumenti e aritmetica narrativa, ma li descrivono come correlazioni indicative, non come cause. La valutazione riguarda la sicurezza generale con un solo insieme di riferimento; non copre ogni comportamento dannoso né ogni insieme di riferimento.
Dettagli
- Autori del paper originale
- Saket Reddy, Amro Abbas, Anshuman Suri, Ari Morcos, David Schwab
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive