Cosa leggere, conservare e scrivere durante l’inference dei modelli
Un modello che serve documenti lunghi può spendere risorse per trovare informazioni precedenti, esaurire lo spazio per le voci dei documenti memorizzate o spostare ripetutamente uno stato ricorrente mentre genera una risposta. Queste pressioni richiedono interventi diversi.
Gli studi suggeriscono una prima domanda pratica: quale operazione è costosa nel carico di lavoro previsto? Un metodo modifica il recupero tramite attenzione, uno sceglie cosa conservare in una cache compressa e uno scrive meno spesso lo stato ricorrente.
I risultati riportati riguardano attività e misure diverse, quindi ciascun metodo è utile entro le condizioni in cui è stato testato.
Cosa comprenderai
Quale operazione modifica ciascun metodo: il recupero dei token precedenti, la conservazione delle voci del documento o la scrittura dello stato ricorrente?
In che modo il campionamento per l’attenzione e l’esercitazione per selezionare la cache operano scelte diverse sulle informazioni precedenti?
Quali dettagli del carico di lavoro e quali limiti riportati vanno considerati prima di applicare un risultato a un sistema di serving?
Tre costi durante il serving
Immagina un assistente che risponde a una domanda su un documento lungo. Per generare la risposta, il suo meccanismo di attenzione potrebbe aver bisogno di informazioni contenute in molti token precedenti.
Un sistema di attenzione può spendere risorse per cercare tra quei token anche quando ne legge solo una selezione. Lo studio sulla ricerca vettoriale chiede come scegliere tale selezione affinché la risposta resti utile.
La risorsa che vuole ridurre è il lavoro necessario per recuperare informazioni precedenti in risposta alla domanda corrente, non la quantità di informazioni del documento conservate in anticipo.
Lo stesso documento potrebbe essere stato preparato prima che si conoscesse la domanda. Un sistema che conserva molti documenti di questo tipo può tenere solo una parte della cache di attenzione di ciascuno: le voci memorizzate a cui si fa riferimento nelle domande successive.
La decisione, allora, si prende prima: quali voci sopravvivono alla compressione? Lo studio Attic esamina questa scelta quando un documento compresso deve supportare domande future ancora sconosciute.
Ridurre lo spazio occupato dalle voci conservate è un obiettivo diverso dal ridurre il lavoro di ricerca quando la domanda è già nota.
Una terza pressione emerge mentre la risposta viene generata un token alla volta. Nei modelli con uno stato ricorrente, ogni nuovo token comporta normalmente la lettura, l’aggiornamento e la scrittura di quello stato.
Spostarlo ripetutamente può essere costoso con le dimensioni dei batch usate in serving. Lo studio ReplaySSM chiede se sia possibile scrivere lo stato meno spesso.
Nel complesso, questi casi suggeriscono una domanda concreta da porsi prima di dire che l’inference è più efficiente: il costo immediato riguarda il lavoro di recupero, lo spazio della cache conservata o le scritture ripetute dello stato?
Come prosegue la lezione
Quali informazioni leggere e conservare
Quando scrivere un nuovo stato
Scegliere in base al carico di lavoro