La riparazione cambia quali strati del transformer conviene rimuovere

Quando si accorcia un modello linguistico rimuovendo interi strati di un transformer, un metodo può scegliere bene quali strati rimuovere senza sapere come verrà riparato il modello rimanente?

I punteggi esistenti valutano le rimozioni prima della riparazione, anche se la riparazione può cambiare l’effetto di una sequenza di strati rimossi sul modello.

L’articolo presenta metodi per selezionare gli strati tenendo conto della riparazione lineare e mostra che gli strati migliori da rimuovere possono cambiare una volta applicata la riparazione.

Per misurare questa differenza, gli autori hanno valutato ogni sottoinsieme candidato entro budget di rimozione contenuti, con e senza riparazione ai minimi quadrati.

La disposizione migliore è cambiata: senza riparazione, gli optimum esatti con quattro o più gruppi rimossi erano divisi in sequenze; con la riparazione, diventavano un blocco singolo oppure un blocco affiancato da una breve sequenza.

Il loro metodo greedy seleziona gli strati dopo aver applicato la riparazione. Nelle quattro famiglie di modelli esaminate, ha ottenuto una perplexity di test su WikiText-2 inferiore dal 20% al 66% rispetto a un metodo di selezione dei blocchi che usava la stessa riparazione. Questo risultato sostiene l’inclusione della riparazione nella scelta.

Questi risultati riguardano una riparazione lineare ai minimi quadrati, testi in inglese, attività a scelta multipla e confronti esatti con budget di rimozione contenuti. Non stabiliscono come si comportino i metodi con testi multilingui o nella generazione di risposte aperte.