Che cos’altro cambia quando correggi un modello?

Un modello può imparare da un nuovo corpus e perdere comportamenti precedenti, ricevere rumore che protegge la privacy e perdere accuratezza nel compito, oppure rifiutare un prompt dannoso e rifiutare anche una richiesta innocua simile. Il successo sull’obiettivo previsto lascia senza risposta una domanda vicina.

Gli studi suggeriscono un modo circoscritto di indagare: individuare che cosa cambia, scegliere un termine di confronto e controllare il confine rilevante più vicino. Quel confine varia tra aggiornamenti durante l’addestramento, calibrazione della privacy e correzione dei prompt.

Né un meccanismo plausibile né un punteggio generale rassicurante rispondono alle domande degli altri studi.

Immagina di adattare un modello linguistico a un nuovo corpus, continuando però a chiedergli di gestire anche i contenuti precedenti. I nuovi esempi potrebbero dire poco su alcune parole che il modello usava già.

Eppure, i meccanismi con cui produce le risposte possono cambiare anche per parole che in quegli esempi non compaiono mai come obiettivi di previsione. Se le prestazioni sui contenuti precedenti peggiorano, sapere soltanto che il modello ha imparato il nuovo materiale non permette di capire quale parte dell’adattamento vada esaminata.

Consideriamo ora una procedura di addestramento che aggiunge rumore per limitare ciò che si può dedurre sul fatto che un determinato record sia stato usato. Impostare un livello di rumore più alto può rassicurare sotto questo aspetto, ma può anche influire sull’accuratezza del modello nel suo compito.

La scelta pratica, quindi, non è soltanto se aggiungere rumore: è come confrontare diversi modi di determinarne la quantità, mantenendo ben definita la questione della privacy.

Oppure supponiamo che un modello abbia fornito assistenza dannosa e che una modifica mirata lo induca a rifiutare quella richiesta. Potrebbe rifiutare anche una richiesta innocua formulata in modo simile.

Un test generale delle capacità del modello potrebbe mostrare pochissimi cambiamenti, mentre quell’errore su una richiesta vicina resta. In tutte queste situazioni, la domanda è come valutare una modifica mirata sul confine che ha più probabilità di rivelare ciò che il successo dichiarato lascia ancora incerto.