Cambiare le impostazioni del modello può ridurre la copertura delle predizioni
In parole semplici
La conformal prediction crea un insieme di possibili risposte e mira a includere quella giusta con una frequenza prestabilita. L’articolo chiede cosa succede se un modello linguistico viene calibrato con una configurazione d’inferenza e poi usato con un’altra, per esempio con una temperatura o una modalità di quantizzazione diversa.
Nei test con modelli linguistici di piccole dimensioni e attività con risposte prestabilite, la copertura spesso è diminuita quando le configurazioni non corrispondevano. L’effetto variava secondo il modello e l’attività: i risultati non significano che ogni cambiamento provochi una diminuzione.
La ricerca
Se calibrazione e uso effettivo avvengono con impostazioni diverse, un buon risultato di copertura ottenuto con test a impostazioni corrispondenti descrive ancora la frequenza con cui gli insiemi di predizioni includono la risposta giusta nell’uso reale?
La domanda conta perché quantizzazione e temperatura possono modificare i punteggi usati per costruire quegli insiemi, anche quando l’attività e il modello addestrato restano invariati.
L’articolo formalizza lo spostamento del modello al momento dell’inferenza e verifica come cambiare quantizzazione o temperatura tra calibrazione e uso influisca sulla copertura conformal.
Gli autori hanno verificato se la calibrazione con impostazioni corrispondenti descriva la copertura anche dopo un cambiamento delle impostazioni d’uso. Su MMLU-Pro, un test di domande a scelta multipla, hanno misurato la quota di esempi di valutazione la cui risposta vera compariva nell’insieme di predizioni.
Con l’uso effettivo fissato a nf4 e temperatura 0.5, la copertura media sugli otto modelli è stata 0.902 con impostazioni corrispondenti, ma 0.639 con impostazioni di calibrazione diverse.
Poiché l’attività e il modello addestrato sono rimasti invariati, in questo contesto il confronto collega la diminuzione al cambiamento nella procedura che genera i punteggi d’inferenza. Altre verifiche, in cui gli autori hanno mediato sulle modalità di quantizzazione o sulle temperature d’uso, hanno mostrato effetti anche in presenza di impostazioni diverse, seppure di entità variabile.
I risultati sostengono la necessità di verificare la sensibilità alla configurazione insieme alla copertura misurata con impostazioni corrispondenti.
L’audit esamina otto modelli linguistici di piccole dimensioni e quattro attività con un insieme finito di etichette, su una griglia finita di modalità di quantizzazione e temperature.
Non consente di prevedere quale specifico cambiamento di configurazione causerà una copertura inferiore o superiore al target, oppure avrà solo un effetto limitato.
Analisi
Dettagli
- Autori del paper originale
- Achref Doula, Max Mühlhäuser
- Inviato ad arXiv
- Licenza
- CC BY-SA 4.0