Adatta l’instradamento alle prove disponibili in ogni passaggio

Un agente può dover scegliere un modello per un passaggio di gestione della casa, decidere come interrogare i proprietari di tabelle separate oppure inviare una domanda a un modello più grande.

Ogni scelta può richiedere ulteriore potenza di calcolo, ma ciascuna offre indizi diversi su dove quel lavoro aggiuntivo può essere utile.

Un buon punto di partenza è adattare la decisione di instradamento alla variazione osservabile dal sistema: un passaggio noto, una dipendenza tra proprietari oppure un segnale di confidenza relativo alla singola domanda.

Questi studi verificano le scelte in contesti diversi, quindi i risultati guidano decisioni condizionate, non una classifica comune delle prestazioni.

Immagina un agente per la gestione della casa che riceve la richiesta di accendere un dispositivo. Il suo sistema ha già passaggi distinti per riconoscere la richiesta, scegliere un’azione, pianificare un’attività più lunga e scrivere il codice necessario.

Una decisione di deployment è se ogni passaggio richieda lo stesso modello ospitato. Un’altra è se un modello locale più piccolo possa gestire un passaggio specifico, mentre un modello ospitato si occupa di quelli che devono produrre un piano più lungo o del codice. Il sistema sa quale passaggio sta per eseguire.

Ora immagina un’organizzazione in cui persone diverse possiedono tabelle diverse. Un coordinatore riceve una domanda che richiede righe di due proprietari, ma il catalogo pubblico elenca soltanto nomi delle tabelle e colonne, non le righe.

Può chiedere ai proprietari in parallelo e combinare le risposte, oppure interrogarli uno dopo l’altro. Se una riga restituita dal primo proprietario rivela un valore necessario per trovare una riga corrispondente presso il secondo, l’ordine delle domande conta. In questo caso, ciò che varia è il dato richiesto.

Una terza scelta si presenta quando ogni domanda a risposta multipla viene prima inviata a un modello piccolo. Il sistema può accettare la sua risposta oppure chiedere a un modello più grande della stessa famiglia di rispondere a quella domanda.

Qui la scelta cambia da una domanda all’altra, e l’incertezza apparente del modello piccolo può fornire un indizio. In tutti e tre gli esempi, il problema comune è dove prendere la decisione di instradamento e quali prove giustificano l’impiego di ulteriore potenza di calcolo.