La reparación cambia qué capas de un transformer conviene eliminar

Cuando se hace más pequeño un modelo de lenguaje eliminando capas completas de un transformer, ¿puede un método elegir bien las capas sin tener en cuenta cómo se reparará después el modelo restante?

Las puntuaciones existentes evalúan las eliminaciones antes de la reparación, aunque esta puede cambiar cómo afecta al modelo cada tramo de capas eliminado.

El artículo presenta métodos de selección de capas que tienen en cuenta la reparación lineal y muestra que las mejores capas para eliminar pueden cambiar al aplicarla.

Para medir esa diferencia, los autores evaluaron todos los subconjuntos candidatos dentro de presupuestos modestos de eliminación, con y sin reparación por mínimos cuadrados.

La mejor disposición cambió: sin reparación, los óptimos exactos con cuatro o más grupos eliminados se dividían en varios tramos; con reparación, pasaban a ser un bloque o un bloque más otro tramo corto.

Su método voraz selecciona las capas después de aplicar la reparación. En cuatro familias de modelos evaluadas, tuvo una perplejidad de prueba en WikiText-2 entre un 20% y un 66% menor que un método de selección de bloques que usaba la misma reparación. El resultado respalda incluir la reparación al elegir qué capas eliminar.

Estos resultados abarcan una reparación lineal por mínimos cuadrados, texto en inglés, tareas de opción múltiple y comparaciones exactas con presupuestos de eliminación modestos. No establecen cómo funcionan los métodos con texto multilingüe o generación abierta.