Adatta gli interventi sulla cache ai costi del tuo carico di lavoro

Una cache più piccola può ridurre la memoria occupata; le letture selettive possono ridurre le informazioni recuperate per ogni nuova query. Rimuovere voci visive durante la generazione della risposta incide su un terzo tipo di costo.

Un punteggio di qualità aiuta a scegliere tra questi approcci solo se il test considera la fase modificata.

Gli studi suggeriscono un primo passo pratico: individuare la risorsa limitante, poi valutare il metodo corrispondente sul carico di lavoro previsto.

I risultati sulla classificazione, sulla modellazione linguistica e sulle risposte visive riguardano esiti diversi, quindi non forniscono una graduatoria comune.

Immaginiamo di servire molte previsioni a partire da un’unica tabella etichettata. Mantenere disponibili tutti gli esempi può rendere costose le previsioni ripetute.

In un modello linguistico, le parole precedenti occupano una cache che ogni nuova parola può consultare. In un modello che risponde a domande sulle immagini, le voci visive possono restare nella cache mentre viene generata la risposta.

In tutti questi casi la compressione può essere utile, ma i costi si presentano in momenti diversi. La domanda utile è quale risorsa sia limitante: lo spazio occupato dai dati memorizzati, le letture ripetute o le informazioni visive mantenute.

Nel caso della tabella, gli esempi etichettati formano un contesto riutilizzato per diverse query. Selezionare un piccolo insieme fisso di righe rende riutilizzabile quel contesto, ma può escludere righe utili per una query specifica.

Selezionare nuove righe per ogni query può migliorarne la pertinenza locale, ma limita il riuso. Lo studio sulla tabella segue una terza strada: comprime la cache interna costruita a partire dagli esempi in una rappresentazione più piccola, capace comunque di fornire risposte diverse a query diverse.

Negli altri due contesti la scelta è meno simile alla selezione di righe. Una query a un modello linguistico può aver bisogno di dettagli da parti diverse di una cache key–value già memorizzata, cioè il registro degli input precedenti del modello.

Un modello che risponde a domande sulle immagini prima elabora il prompt, fase chiamata prefill, e poi genera i token successivi della risposta durante la decodifica. Può ridurre il lavoro durante il prefill oppure rimuovere voci visive dalla cache prima della decodifica.

Su quale risorsa dovrebbe intervenire chi sviluppa un sistema, e quale test potrebbe rivelare il costo in termini di qualità?