Une méthode en bits compare le contexte aux poids du modèle

Quand un modèle reçoit de nouveaux exemples, doit-il les utiliser dans son contexte temporaire ou l’entraînement doit-il les inscrire dans ses poids ? Le contexte est reconstruit pour chaque prédiction, tandis que l’entraînement modifie l’état conservé par le modèle.

L’article cherche à comparer ces deux options à partir des prédictions qu’elles produisent sur de nouvelles requêtes.

La méthode compare les bits économisés par les prédictions à partir du contexte et des poids entraînés, puis s’appuie sur des limites de capacité ou un test sur des requêtes mises de côté pour les départager.

Pour comparer le contexte aux poids entraînés sur les mêmes exemples, la méthode mesure dans quelle mesure chacun raccourcit les descriptions fondées sur les probabilités de nouvelles requêtes, puis compare le gain d’un canal à la limite de capacité de l’autre.

Sur un Transformer entraîné à trois couches, des certificats ont été délivrés dans 25 des 64 comparaisons, et chaque verdict concordait avec les gagnants mesurés. Lorsque les exemples tenaient dans la fenêtre de cache testée, les recettes de réglage fin complet retenues ne modifiaient pas les poids, et le cache économisait de 2.7 à 7.0 bits de plus par bloc de requêtes.

Les certificats nécessitent des termes d’information exacts, disponibles dans l’article pour les distributions conçues à cette fin. Quand ces termes sont inconnus, les auteurs utilisent plutôt un test sur des requêtes mises de côté.

Le fait que les certificats concordent avec les résultats mesurés dans les comparaisons rapportées ne montre pas qu’ils donnent toujours la bonne réponse dans d’autres situations.