IT
Un test basato sul testo rintraccia l’addestramento con watermark nei modelli studenti
Watermark Basins: Black-Box Detection of Distilled LLMs · arXiv:2610.37266
In parole semplici
Un modello linguistico può essere addestrato sulle risposte di un altro modello. Se quelle risposte contengono un watermark nascosto, nel modello studente possono restarne tracce; i controlli testuali esistenti, però, possono non rilevarle quando dipendono da schemi di parole ripetuti.
WM-Basin confronta le risposte del modello sospetto con quelle del modello insegnante con watermark e usa un modello pulito per individuare schemi condivisi da rimuovere. In un test sul ragionamento matematico ha rilevato più modelli distillati rispetto al controllo testuale esistente; il risultato riguarda i modelli e le condizioni esaminati.
La ricerca
Se un modello viene addestrato sulle risposte di un modello insegnante con watermark, un verificatore può rilevare il collegamento limitandosi a interrogarlo?
I controlli testuali esistenti dipendono dalla ricorrenza dei token favoriti dal watermark in determinati contesti; secondo il paper, questo segnale si indebolisce quando le finestre di contesto si allargano e quando il campionamento avviene a temperature più basse.
WM-Basin rileva l’influenza di un modello insegnante con watermark confrontando i gradienti di un modello sonda ricavati dal testo sospetto e da quello dell’insegnante, dopo aver rimosso gli schemi condivisi dai modelli puliti.
Il verificatore interroga il modello sospetto con prompt di test e il modello insegnante con watermark con prompt separati, usati per costruire il riferimento.
Un modello sonda pulito e fisso trasforma entrambe le serie di risposte in gradienti; il metodo rimuove gli schemi condivisi dai modelli puliti e classifica la chiave dichiarata rispetto alle chiavi esca.
Nella distillazione per il ragionamento matematico da un unico modello insegnante con watermark, WM-Basin ha rilevato il 45% di 1.200 modelli raggruppati tra 24 architetture studentesche, con un tasso nominale di falsi positivi dello 0,1% e una finestra di tre token; il rilevatore basato sui token ne ha rilevato l’1,3%. Questo sostiene una maggiore efficacia del rilevamento per quel gruppo testato.
WM-Basin analizza testi del dominio sottoposto a verifica. Un punteggio basso in un altro dominio non dimostra che il modello sia pulito; inoltre, un ulteriore addestramento su dati puliti può attenuare il segnale nelle risposte, anche se un test che accede ai pesi continua a rilevarlo nei parametri del modello.
Cosa mostrano le prove
- Un metodo di rilevamento basato sul testo
Watermark Basin Alignment (WM-Basin) è un metodo black-box per rilevare se un modello linguistico sospetto è stato distillato da testi con watermark prodotti da un modello insegnante. Usa risposte ottenute tramite l’API del modello sospetto, quindi il verificatore non ha bisogno dei suoi pesi né dei suoi punteggi interni.
Il metodo affronta una domanda precisa: si può trovare una traccia del watermark dell’insegnante quando i controlli basati sui token perdono il segnale perché i contesti si ripetono meno?
- Separare il compito dal watermark
Gli autori hanno prima esaminato il segnale nei pesi del modello. Hanno confrontato modelli studenti addestrati con lo stesso modello di base, lo stesso modello insegnante, gli stessi prompt e la stessa procedura, usando tracce dell’insegnante con o senza watermark.
Hanno usato l’aggiornamento del modello studente pulito come direzione del compito e hanno osservato che, dopo pochi passi lungo la direzione del watermark, le evidenze di rilevamento scendevano fino al limite minimo del rilevatore; lungo la direzione del compito persistevano per passi molto più ampi.
Questo suggerisce che il segnale del watermark sia più circoscritto rispetto all’apprendimento ordinario del compito.
- Confronto tra i due rilevatori
WM-Basin rappresenta le risposte del modello sospetto e quelle del modello insegnante associate a una chiave usando i gradienti di un unico modello sonda pulito. Rimuove le direzioni condivise dai modelli puliti, poi confronta l’allineamento rimanente per la chiave dichiarata con quello per le chiavi esca.
In una valutazione sul ragionamento matematico che raggruppava 1.200 modelli di 24 architetture studentesche, con una finestra di tre token e un tasso nominale di falsi positivi dello 0,1%, ne ha rilevato il 45%; il rilevatore basato sui token ne ha rilevato l’1,3%. Il risultato è un dato aggregato sul gruppo testato.
- Una condizione di campionamento più difficile
Il confronto a bassa temperatura ha testato fino a 100 modelli studenti Qwen2.5-3B per condizione, distillati dallo stesso modello insegnante con temperature di campionamento diverse. Alla temperatura 0.5, la raccolta di riferimento era rimasta a temperatura 1.0; con una finestra di tre token e un tasso di falsi positivi dell’1%, WM-Basin ha segnalato circa la metà dei modelli, mentre il rilevatore basato sui token non ne ha segnalato nessuno.
Il risultato mostra che WM-Basin ha mantenuto evidenze in questa condizione con temperature non corrispondenti, non che lo farà in ogni impostazione.
- Dove si fermano le evidenze
I controlli su matematica, codice e conversazione hanno mostrato che il rilevamento dipendeva dal dominio usato per la distillazione: punteggi bassi in un altro dominio non dimostravano che il modello fosse pulito. Gli autori hanno inoltre osservato che un ulteriore addestramento su dati puliti poteva attenuare il segnale del watermark nelle risposte generate, anche quando un rilevatore che accede ai pesi lo trovava ancora nei parametri. Questi risultati delimitano ciò che può stabilire un controllo basato solo sul testo.
Dettagli
- Autori del paper originale
- Hongyan Chang, Hady Elsahar, Tom Sander, Pierre Fernandez, Saeed Mahloujifar
- Inviato ad arXiv
- Licenza
- CC BY 4.0