Certificare la robustezza quando cambia il routing del modello

Un certificato di robustezza dovrebbe indicare che una previsione resta valida anche dopo le modifiche al testo ammesse. Ma in un modello mixture of experts, quelle modifiche possono cambiare gli esperti attivati e quindi i calcoli eseguiti.

La domanda concreta è se il certificato continui a descrivere il modello quando cambia il suo percorso.

CertMoE certifica sia quali esperti possono usare gli input perturbati, sia se le previsioni restano stabili entro quell’insieme certificato.

Un certificato di robustezza è utile solo se copre i calcoli che il modello esegue davvero.

Nei modelli linguistici mixture of experts, un input modificato può selezionare esperti diversi: un metodo di certificazione può tenere conto di questi cambiamenti e verificare comunque che le previsioni restino stabili?

CertMoE certifica prima che gli input perturbati restino entro un insieme più ampio di esperti, poi certifica la stabilità delle previsioni in un modello limitato a quell’insieme. Nel test di classificazione del sentiment di un modello, aggiungere CertMoE a RanMASK ha ridotto dal 32.98% al 6.25% la quota di input certificati in cui gli attacchi hanno trovato cambiamenti nelle previsioni.

Il risultato sostiene l’utilità di certificati più selettivi in quel contesto, ma gli attacchi hanno esplorato solo una parte di ciascuna regione certificata.

Questi risultati degli attacchi derivano dall’esplorazione di una parte soltanto di ciascuna regione certificata: non dimostrano in modo esaustivo che ogni certificato sia valido o non valido.

La valutazione riguarda la classificazione di testo con tre modelli MoE rappresentativi; altri tipi di architettura e le attività di generazione non sono stati testati.