La réparation change les couches du transformeur qu’il vaut mieux retirer

Quand on raccourcit un modèle de langage en retirant des couches complètes du transformeur, peut-on choisir les bonnes couches avant de savoir comment le modèle restant sera réparé ?

Les scores existants évaluent les retraits avant réparation, alors que celle-ci peut modifier l’effet des séquences de couches retirées sur le modèle.

L’article propose des méthodes de sélection de couches qui tiennent compte de la réparation linéaire et montre que les meilleures couches à retirer peuvent changer une fois la réparation appliquée.

Pour mesurer cet écart, les auteurs ont évalué chaque sous-ensemble candidat dans des budgets de retrait modestes, avec et sans réparation par moindres carrés. La meilleure disposition changeait : sans réparation, les optima exacts à partir de quatre groupes retirés étaient répartis en plusieurs séquences ; avec réparation, ils formaient un bloc unique ou un bloc accompagné d’une courte séquence.

Leur méthode gloutonne choisit les couches après application de la réparation. Dans quatre familles de modèles testées, sa perplexité de test sur WikiText-2 était inférieure de 20 % à 66 % à celle d’une méthode de sélection par blocs utilisant la même réparation. Ces résultats étayent l’intégration de la réparation au choix des couches.

Ces résultats portent sur une réparation par moindres carrés, des textes en anglais, des tâches à choix multiples et des comparaisons exactes pour des nombres de couches retirées modestes.

Ils ne permettent pas d’établir les performances de ces méthodes sur des textes multilingues ou en génération libre.