Scegli un segnale del passato adatto al compito e ai suoi limiti di risorse

Un documento può essere compresso prima che qualcuno faccia domande; un robot può imparare un nuovo compito pur avendo ancora bisogno di quello precedente. Riutilizzare il passato è utile solo se il segnale conservato serve al compito successivo.

In quattro studi, la scelta pratica riguarda dove collocare quel segnale e quanto costa conservarlo o ricrearlo. Nei contesti testati, i risultati favoriscono segnali pertinenti al compito, ma gli studi misurano esiti e risorse diversi.

Immagina di comprimere un lungo documento prima che i lettori inviino le loro domande. Un modello linguistico può conservare solo alcune delle voci interne associate al testo, quindi la scelta fatta ora influisce su ciò a cui potrà rispondere in seguito.

Rileggere ogni riga sembra accurato, ma lo studio sulla compressione rileva che così un budget di archiviazione limitato può essere distribuito anche su prosa ordinaria. Il problema immediato è scegliere quali parti del documento meritino quello spazio limitato, quando ancora non si conoscono le domande future.

Un robot affronta una scelta analoga quando impara ad aprire un cassetto e in seguito migliora la propria capacità di accendere un LED. Aggiornare il comportamento condiviso per il nuovo compito può compromettere quello precedente.

Lo studio sul robot affronta il problema riprendendo durante l’addestramento le rappresentazioni dei compiti precedenti. Queste rappresentazioni hanno un costo: si può conservare l’esperienza precedente, far ripetere un compito al robot oppure usare un modello appreso dell’ambiente per ricreare gli stati del compito. Ogni opzione fornisce un promemoria diverso di ciò che il robot dovrebbe mantenere.

L’addestramento dei modelli linguistici aggiunge un’altra variante del problema. Un modello che impara dalle proprie risposte può riprendere previsioni precedenti, mentre uno studente più piccolo che impara da un insegnante può riutilizzare le proprie risposte iniziali.

La domanda comune a questi contesti è quindi precisa: quale segnale del passato conviene conservare o riprodurre, e sarà ancora utile per la decisione successiva? Chiamiamo questo segnale un riferimento.

Il suo valore dipende dalle informazioni che contiene, dal calcolo necessario per usarlo e dalle informazioni che occorre mantenere archiviate.