In parole semplici
I selettori dei dati di addestramento scelgono un numero fisso di record che giudicano utili. Il paper studia se un fornitore esterno possa modificare record dannosi in modo che ottengano un buon punteggio e continuino a influenzare il modello dopo l’addestramento.
L’attacco degli autori genera e valuta record candidati, poi invia quello con il punteggio più alto che conserva il contenuto dannoso. In una prova sul rifiuto eccessivo con IFD, un selettore basato sulla difficoltà, i record adattati si sono concentrati maggiormente nell’insieme selezionato e il tasso di rifiuto riportato è aumentato. Il risultato riguarda quella specifica configurazione di prova.
La ricerca
Quando il proprietario di un modello seleziona solo un numero fisso di record di addestramento, un fornitore può far sembrare abbastanza utili i record dannosi da superare il filtro e influenzare il modello addestrato?
Il fornitore non può modificare il selettore né vedere l’insieme scelto alla fine, quindi la domanda è se modificare i record stessi possa cambiare quali dati passano il filtro.
Gli autori presentano un attacco adattivo che modifica i record dannosi per superare la selezione dei dati di addestramento e una difesa a due livelli che verifica i fornitori e combina le classifiche dei selettori.
Gli autori verificano se un fornitore possa far superare la selezione a record di addestramento dannosi, quando un selettore conserva solo quelli con i punteggi più alti. Il fornitore genera candidati con il payload dannoso, li valuta e invia quello con il punteggio più alto che mantiene il payload.
In una prova appaiata sul rifiuto eccessivo con IFD, un selettore basato sulla difficoltà, l’adattamento ha portato l’arricchimento dei dati avvelenati da 1.21x a 6.07x e il tasso di rifiuto riportato da 0% a 94%. Il risultato mostra concentrazione e un cambiamento del comportamento in quella specifica combinazione; un controllo separato con selezione casuale indica inoltre che, nella configurazione LESS, la concentrazione dipendeva dalla selezione.
Le valutazioni riguardano specifiche coppie selettore-payload e determinate configurazioni dei modelli. Il certificato di CONCERT limita quali record possono essere selezionati, ma non garantisce un insieme privo di dati avvelenati né pone un limite ai danni successivi.
Gli output di codice sono stati verificati su checkpoint esistenti, senza riaddestrarli su un insieme ridotto.
Analisi
Dettagli
- Autori del paper originale
- Yahao Ren, Jian Lou, Huadi Zheng, Jiawei Duan
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive