Quali prove supportano la scelta di un modello AI?

Un assistente domestico può usare un modello diverso per ogni tipo di richiesta, ma una scelta che sembra solida in un benchmark può fallire quando raggiunge un dispositivo reale.

I test su immagini affrontano un problema analogo: condizioni mancanti possono far sembrare preferibile il modello sbagliato.

Nei quattro studi esaminati, le prove si trovano a distanze diverse dalla decisione. I test set e le verifiche sul sistema in funzione esaminano i risultati; le statistiche ricavate da modelli pre-addestrati aiutano a classificare le opzioni in anticipo.

La risposta utile di ciascuno è delimitata dalle condizioni e dai comportamenti che ogni studio ha effettivamente verificato.

Immaginate di dover scegliere quale modello linguistico gestisce la prossima richiesta di un assistente domestico. Il sistema potrebbe dover soltanto classificare la richiesta, accendere un dispositivo specifico o scrivere un nuovo programma per un'attività pianificata.

Assegnare lo stesso modello a ogni passaggio significa prendere un'unica decisione per più lavori diversi. Lo studio sull'automazione domestica distribuita chiede quali dei compiti noti possano essere affidati a modelli più piccoli pur producendo il risultato richiesto.

Immaginate ora di dover scegliere tra due modelli che identificano se un'immagine di una fototrappola contiene un animale. Se le immagini di test disponibili mostrano per lo più scene diurne, il modello apparentemente vincente potrebbe essere quello che gestisce meglio la luce del giorno.

Le immagini notturne spesso hanno un aspetto diverso perché le fotocamere usano riprese a infrarossi in scala di grigi. Un secondo studio chiede se aggiungere immagini che rappresentano questa condizione mancante cambia la scelta della valutazione tra un modello addestrato su immagini diurne e uno addestrato su immagini diurne e notturne.

Prima che un confronto diretto sia possibile emergono altre due scelte: quale modello già rilasciato potrebbe resistere a un cambiamento nei dati, e in quale ordine un generatore dovrebbe riempire i pixel di un'immagine?

Questi studi esaminano i pattern nei pesi pre-addestrati oppure le dipendenze tra le posizioni di output. Insieme, i quattro studi pongono una domanda pratica: quale prova è abbastanza vicina al risultato desiderato da supportare una scelta, e cosa può soltanto suggerire un indicatore precoce?