Choisir un signal du passé adapté à la tâche et aux ressources disponibles

Un document peut être comprimé avant que quiconque pose une question à son sujet ; un robot peut apprendre une nouvelle tâche tout en devant en conserver une ancienne. Réutiliser le passé n’est utile que si le signal conservé répond aux besoins de la tâche à venir.

Dans quatre études, le choix pratique consiste à déterminer où placer ce signal et ce qu’il en coûte de le conserver ou de le recréer. Dans les contextes testés, les résultats favorisent les signaux adaptés à la tâche, mais les études mesurent des résultats et des ressources différents.

Imaginez qu’on comprime un long document avant que les lecteurs posent leurs questions. Un modèle de langage ne peut conserver qu’une partie de ses représentations internes du texte : le choix fait maintenant détermine donc ce qu’il pourra répondre plus tard.

Relire chaque ligne semble minutieux, mais l’étude sur la compression constate que cette méthode peut répartir un espace de stockage limité sur des passages ordinaires. Le problème immédiat consiste à choisir quelles parties du document méritent cette place alors que les questions à venir sont encore inconnues.

Un robot fait face à un choix comparable lorsqu’il apprend à ouvrir un tiroir, puis améliore sa capacité à allumer une LED. Modifier des comportements partagés pour la nouvelle tâche peut perturber l’ancienne.

L’étude sur les robots aborde ce problème en réexaminant, pendant l’entraînement, des représentations de tâches antérieures. Ces représentations ont un coût : on peut stocker l’expérience passée, faire répéter une tâche au robot ou utiliser un modèle appris de son environnement pour recréer les états de la tâche. Chaque option rappelle au robot, d’une manière différente, ce qu’il doit conserver.

L’entraînement des modèles de langage ajoute une autre variante du problème. Un modèle qui apprend à partir de ses propres réponses peut revoir ses prédictions antérieures, tandis qu’un modèle plus petit, appelé élève, qui apprend d’un modèle enseignant peut réutiliser ses anciennes réponses.

Dans ces différents contextes, la question est donc précise : quel signal du passé faut-il conserver ou rejouer, et restera-t-il utile pour la prochaine décision ? Appelons ce signal un repère.

Sa valeur dépend des informations qu’il contient, du calcul nécessaire pour l’utiliser et des informations qu’il faut stocker.