IT
Il campionamento ai vertici aiuta a combinare molti domini di dati linguistici
LinMix: Data Mixing as Linear Domain Attribution · arXiv:2610.37390
In parole semplici
I modelli linguistici imparano da testi appartenenti a diversi ambiti, o domini. LinMix addestra piccoli modelli proxy su mix di domini scelti con attenzione, stima quali domini aiutino una misura scelta e usa tali stime per selezionare il mix con cui addestrare un modello più grande.
Nei test con 288 domini, il modo in cui LinMix sceglieva i mix dei proxy ha permesso a una semplice stima lineare di ottenere risultati pari alla migliore alternativa non lineare. Con 24 domini, entrambi i metodi di campionamento hanno consentito stime accurate.
La ricerca
Quando i testi di addestramento sono suddivisi in centinaia di domini, come può un numero limitato di piccoli modelli proxy mostrare quali domini contribuiscono a una misura target?
Se i mix usati per addestrarli variano troppo poco, le stime impiegate per scegliere i dati di addestramento di un modello più grande possono risultare inaffidabili.
LinMix varia i mix di dati dei modelli proxy entro limiti per stimare il contributo dei domini con un modello lineare e scegliere un mix per il preaddestramento.
LinMix verifica se variare i mix dei modelli proxy possa rendere più semplice stimare gli effetti dei domini man mano che un corpus viene suddiviso in più domini.
I ricercatori hanno confrontato i punteggi previsti e osservati dei modelli proxy: con 288 domini, il campionamento ai vertici ha permesso a una regressione lineare di eguagliare la migliore alternativa non lineare, mentre il campionamento Dirichlet ottimizzato ha dato risultati deboli.
Poi hanno usato i mix selezionati per addestrare modelli Qwen3.5 da 4B su 40 domini.
Nei test di programmazione e matematica riportati, LinMix ha ottenuto punteggi superiori a RegMix e Olmix: in questa configurazione, il risultato sulle stime dei proxy si accompagna a prestazioni migliori sui modelli target.
I risultati sui modelli target provengono da una sola esecuzione casuale di addestramento per metodo, e addestrare i numerosi modelli proxy è costoso.
La dimostrazione dell’ottimalità attesa vale quando i limiti per dominio sono uguali e la distribuzione a priori è uniforme; il caso di limiti disuguali resta irrisolto nel paper.
Cosa mostrano le prove
- Stimare il contributo dei domini
LinMix è un metodo per combinare dati durante il preaddestramento dei modelli linguistici. Affronta una domanda pratica: quando il corpus di addestramento è diviso in molti domini, un numero limitato di modelli proxy più piccoli può indicare quali domini aiutano una misura target?
Il metodo stima il contributo di ciascun dominio a partire dalle esecuzioni proxy, poi usa queste stime per scegliere un mix entro i limiti per il modello più grande.
- Variare i mix dei proxy
La scelta decisiva riguarda come comporre i mix per i modelli proxy. Il campionamento Dirichlet, usato comunemente, genera mix attorno a una distribuzione a priori e richiede una messa a punto specifica per ogni configurazione.
LinMix riempie invece i domini fino ai rispettivi limiti seguendo un ordine casuale, finché esaurisce il budget di token, e abbina poi le esecuzioni usando l’ordine inverso. I mix così ottenuti variano tra i domini e offrono alla regressione confronti più utili per stimarne gli effetti.
- Il vantaggio emerge con più domini
I ricercatori hanno confrontato i punteggi previsti e osservati dei modelli proxy sui dati di addestramento dei benchmark. Con 288 domini, anche i mix Dirichlet ottimizzati hanno prodotto uno scarso accordo tra le classifiche, mentre la regressione lineare basata sul campionamento ai vertici di LinMix ha eguagliato la migliore alternativa non lineare.
Con 24 domini, tutte le stime testate hanno funzionato bene con entrambi i metodi di campionamento. I risultati collocano quindi il vantaggio del campionamento nella configurazione più ampia, con più domini.
- Anche i punteggi target favoriscono LinMix
I ricercatori hanno anche addestrato modelli target Qwen3.5 da 4B su mix di 40 domini selezionati da LinMix, RegMix o Olmix. Su MBPP, che valuta problemi di programmazione, pass@1 misura la quota di problemi risolti da una singola soluzione generata con decodifica greedy: il punteggio di LinMix è stato 0.444, contro 0.304 per RegMix e 0.302 per Olmix.
Sui problemi matematici di GSM8K, exact match misura la quota di risposte identiche a quelle di riferimento: LinMix ha ottenuto 0.337, contro 0.135 e 0.294. In questa configurazione, i punteggi collegano il confronto sui proxy a risultati migliori sui modelli target.
- Teoria ed evidenze hanno confini precisi
Un risultato teorico sostiene il disegno dei mix: il campionamento ai vertici è ottimale in media quando i limiti di tutti i domini sono uguali e la distribuzione a priori è uniforme. La dimostrazione chiarisce anche che i limiti obbligano ogni esecuzione a includere più domini, riducendo la possibilità di isolare l’effetto di uno solo.
Le evidenze sostengono LinMix nelle configurazioni testate, ma i risultati sui modelli target si basano su una sola esecuzione casuale di addestramento per metodo e il teorema vale soltanto nelle condizioni indicate.
Dettagli
- Autori del paper originale
- Hubert Baniecki, Przemyslaw Biecek, Martin Pawelczyk
- Inviato ad arXiv
- Licenza
- CC BY 4.0