Il midtraining su contesti lunghi alza alcuni punteggi di coding
In parole semplici
I modelli che affrontano compiti di coding con strumenti devono saper gestire interi repository e interagire con quegli strumenti. Il paper introduce una fase di addestramento tra l'addestramento iniziale del modello e quello successivo su esempi abbinati alle risposte desiderate.
Durante questa fase, il modello riceve documenti software lunghi e alcune registrazioni delle interazioni con gli agenti. Dopo lo stesso addestramento successivo, i modelli Nemotron testati migliorano in alcuni test di coding, compreso un aumento netto in un test con compiti lunghi per il modello più grande.
I risultati variano a seconda del test, quindi la ricetta non dimostra di migliorare ogni punteggio o ogni famiglia di modelli.
La ricerca
Come può un modello per il coding incontrare interi repository e interazioni con strumenti prima del post-training, quando l'addestramento iniziale usa spesso contesti più brevi e il successivo addestramento supervisionato si basa in gran parte su dati sintetici?
Il paper verifica se una fase separata con contesti lunghi possa preparare i modelli di base al coding con agenti, senza affidarsi a indicatori indiretti del modello di base per prevedere i risultati successivi.
La ricetta addestra i modelli di base su dati di ingegneria del software con contesti lunghi e alcune tracce di agenti prima del post-training, poi valuta i risultati di coding dopo lo stesso SFT.
Gli autori addestrano i modelli di base per centinaia di miliardi di token con contesti lunghi, usando soprattutto dati naturali di ingegneria del software e una quota minore di tracce di agenti.
Confrontano i modelli sottoposti a midtraining con i checkpoint iniziali dopo lo stesso SFT completo e misurano il successo nei compiti di coding.
Per Lightning-LC, 500 miliardi di token di midtraining portano Pass@1, il tasso medio di successo tra le esecuzioni campionate per ciascun compito, dal 60.7% al 64.5% su SWE-bench Verified; per Super, 280 miliardi di token lo portano dall'11.7% al 15.7% su DeepSWE.
I risultati mostrano miglioramenti selezionati dopo l'SFT, mentre i punteggi Multilingual e Pro di Super non indicano un miglioramento costante.
I confronti sui benchmark si basano su una singola esecuzione; gli autori osservano che differenze di uno o due punti potrebbero dipendere dalla variabilità tra un'esecuzione e l'altra. La ricetta è stata testata sui modelli Nemotron, soprattutto per il coding con agenti, usando una combinazione di dati SFT orientata agli agenti.
La breve verifica del reinforcement learning, condotta con un solo seed, non mostra che il midtraining aumenti i benefici ottenibili con il reinforcement learning.
Analisi
Dettagli
- Autori del paper originale
- Soumye Singhal, Joseph Jennings, Ka Shun Shum, Alexander Bukharin, Khushi Bhardwaj
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive