IT
Un metodo in due fasi stima l'incertezza con i foundation model
HIFI: A Highly Efficient Framework for Statistical Inference with Foundation Models · arXiv:2610.34550
In parole semplici
Il paper presenta HIFI, un metodo in due fasi che usa un foundation model per stimare il risultato medio associato a un input specifico e indicare l'incertezza della stima. HIFI adatta il modello una volta usando un campione più ampio.
Poi usa un campione distinto e più piccolo per calcolare molte stime leggere dell'errore residuo. In attività sintetiche con immagini e testi, gli intervalli di HIFI si avvicinavano di più alla copertura desiderata del 95% rispetto agli intervalli ottenuti con ricampionamento diretto, a parità di dimensione totale del campione.
La ricerca
Come possono i ricercatori associare un intervallo di confidenza utile alla stima di un risultato medio, in corrispondenza di un input specifico, prodotta da un foundation model, se il ricampionamento richiede molti addestramenti costosi e non elimina da sé gli errori sistematici di stima? Il paper sviluppa un approccio in due fasi per affrontare entrambi gli aspetti.
HIFI adatta una volta un foundation model, poi stima i residui su un campione separato per quantificare l'incertezza attorno a una media condizionata.
Gli autori chiedono come costruire intervalli di confidenza per una media condizionata quando gli addestramenti ripetuti del ricampionamento sono costosi e possono lasciare non corretti gli errori sistematici di stima.
HIFI separa il lavoro: adatta il modello una volta su un campione più ampio, poi usa un campione indipendente per stimare l'incertezza residua.
A parità di dimensione totale del campione, gli intervalli al 95% di HIFI contenevano la vera media condizionata o probabilità con frequenze più vicine al 95% rispetto al ricampionamento diretto, che era nettamente conservativo.
Anche il calcolo di addestramento stimato era inferiore nelle configurazioni testate. Questi risultati sostengono l'approccio nelle condizioni valutate.
I risultati a campione appaiato provengono da attività sintetiche con immagini e testi, usando quattro backbone testati e LoRA.
Gli autori osservano che l'efficacia del fine-tuning efficiente in termini di parametri può dipendere dall'attività e che ripetere gli addestramenti della Fase 2 può comunque essere costoso per modelli molto grandi.
Cosa mostrano le prove
- Il problema dell'inferenza
HIFI è un framework in due fasi che usa un foundation model per stimare la media condizionata di una popolazione in corrispondenza di un input fisso e fornire un intervallo di confidenza per la stima.
Il paper affronta una tensione del ricampionamento: ripetere l'addestramento dei modelli può essere costoso, mentre il ricampionamento da solo non corregge gli errori sistematici di stima che possono compromettere l'intervallo.
- Separare le due fasi
HIFI divide i dati etichettati in due campioni indipendenti. Adatta una volta il modello preaddestrato sul primo campione, più ampio, poi usa il secondo per stimare in modo leggero i residui, cioè ciò che resta dopo la prima stima.
Mantenendo fissa la stima della prima fase, gli addestramenti della seconda si concentrano sulla variazione residua invece di imparare di nuovo l'intera attività.
- Risultati a parità di campione
Gli autori hanno confrontato HIFI con il ricampionamento diretto usando la stessa dimensione totale del campione e, in ogni coppia, lo stesso backbone preaddestrato. In attività sintetiche con tre backbone per la visione e uno per il testo, gli intervalli nominali al 95% di HIFI avevano una copertura empirica più vicina al 95%, mentre il ricampionamento diretto era nettamente conservativo. Nelle configurazioni testate, HIFI richiedeva anche meno calcolo di addestramento stimato.
- Verificare il campione di adattamento
Un'analisi diagnostica separata su un'attività testuale ha mantenuto fisso il campione della seconda fase e variato la quantità di dati usata da HIFI per l'adattamento iniziale. Campioni più ampi nella prima fase riducevano il bias assoluto medio e avvicinavano la copertura al 95%.
Alla dimensione massima testata, gli intervalli erano più brevi di quelli del ricampionamento diretto, ma la copertura restava leggermente sotto il livello nominale. Il risultato riguarda quella specifica attività sintetica e quel backbone.
Dettagli
- Autori del paper originale
- Po-Wei Chen, Shan Yu, Chunlin Li
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive