Perché i rollout più grandi rallentano l’apprendimento ma falliscono dopo un numero simile di risposte

Generare nuove risposte del modello a ogni aggiornamento della policy rende costoso l’addestramento con ricompense verificabili.

Batch più grandi possono distribuire la generazione su più aggiornamenti, ma nell’addestramento multi-step non è chiaro se la consueta regola del learning rate proporzionale alla radice quadrata della dimensione del batch conservi i progressi, né come il cambiamento della dimensione del batch influisca sul momento in cui l’addestramento fallisce.

Il framework a due orologi degli autori separa le risposte necessarie per imparare da quelle consumate prima del fallimento e spiega perché rollout più grandi rallentano i progressi senza necessariamente spostare il punto di fallimento.

Gli autori introducono un framework a due orologi per chiedersi se batch di risposte più grandi mantengano l’efficienza in termini di risposte nell’ottimizzazione GRPO multi-step, un metodo per addestrare modelli con risposte verificabili.

Confrontano esecuzioni di addestramento con diverse dimensioni di rollout, applicando la regola che fa crescere il learning rate con la radice quadrata della dimensione del batch e misurando quante risposte vengono consumate per raggiungere obiettivi di accuratezza in validazione.

Con otto passi dell’ottimizzatore per rollout, l’esponente del costo in risposte è salito da 0.15 a 0.44 quando il learning rate per il batch piccolo è aumentato da 10⁻⁶ a 10⁻⁵.

I batch più grandi hanno quindi richiesto più risposte per raggiungere la stessa accuratezza, mentre un adattamento separato alle esecuzioni senza clipping sostiene che, lungo la regola di scaling, il numero di risposte prima del fallimento sia pressoché indipendente dalla dimensione del batch.

Le evidenze riguardano l’addestramento GRPO multi-step in una sola famiglia di modelli e un solo dominio di attività.

La teoria è locale, la curvatura non è stata misurata direttamente a questa scala, i punti di fallimento variavano tra i seed e l’efficienza è stata calcolata in risposte, non in token, costo di calcolo o tempo trascorso.