Adapter la profondeur du modèle au coût et au résultat visés

Un assistant conversationnel peut avoir besoin de répondre plus vite ; un prédicteur tabulaire, d’un modèle plus petit. Ajouter un passage qui réutilise les mêmes poids augmente le calcul sans ajouter de poids stockés, tandis que retirer des blocs modifie le modèle lui-même. Le mot « profondeur » recouvre donc des coûts différents.

Ces études suggèrent de choisir le changement à l’endroit où le coût se présente, puis de l’évaluer selon le résultat effectivement mesuré.

Leurs données portent, dans des conditions différentes, sur la perte d’entraînement, des tâches de langage en aval, la prédiction de mots et la classification tabulaire ; elles ne désignent pas une profondeur optimale pour tous les modèles.

Imaginez un assistant conversationnel qui peut parfois prendre le temps de formuler une réponse plus longue, à côté d’un classificateur de données tabulaires installé sur un serveur clinique local. La personne qui exploite l’assistant peut consacrer davantage de calcul à une demande difficile.

Celle qui exploite le classificateur peut devoir réduire la taille du modèle stocké ou le travail nécessaire à chaque prédiction. Dans les deux cas, il faut décider de la profondeur du modèle, mais la modifier peut consister soit à répéter des blocs existants, soit à en retirer du modèle stocké.

Un bloc répété réutilise les mêmes poids appris à chaque passage. Multiplier les passages augmente donc le travail sans exiger un jeu de poids distinct pour chacun.

Le moment où ces passages ont lieu compte : les boucles pendant l’entraînement consomment du calcul d’entraînement, tandis que celles qui servent à répondre à une demande consomment du calcul d’inférence et du temps. La question posée par un modèle qu’on peut servir avec différents nombres de boucles diffère de celle d’une étude d’entraînement qui répartit un budget fixe entre les passages et les exemples d’entraînement.

Retirer des blocs soulève un autre choix. Omettre une partie modifie les signaux reçus par les parties suivantes du modèle.

Une méthode peut donc ajuster une petite transformation pour remplacer le calcul omis. Selon la taille de ce remplacement, cela peut réduire le calcul et le nombre de poids stockés pour les blocs.

La question commune est pratique : à quel endroit modifier la profondeur pour respecter un objectif de coût, et quelles données montrent que le résultat recherché est préservé ?