I test ridotti sulle GPU possono guidare la ricerca su larga scala

Quando un'esecuzione di addestramento su larga scala può richiedere ore e fallire per memoria insufficiente, come possono i team scegliere le impostazioni senza provare ogni configurazione sull'intero cluster?

L'articolo esamina se le misurazioni di un test ridotto possano aiutare a individuare, alla scala obiettivo, configurazioni che rispettino i limiti di memoria e offrano alta velocità di addestramento.

Primus Projection stima memoria e velocità di addestramento sul target a partire da test ridotti sulle GPU, così un agente di tuning può filtrare e ordinare le configurazioni.

Per verificare se test ridotti possono guidare le scelte su scala più grande, gli autori hanno confrontato le proiezioni di Primus con misurazioni hardware.

Hanno eseguito benchmark su 1, 2, 4 o 8 GPU su un host, poi hanno ricostruito analiticamente il target; nei test AMD svolti con Llama e Mixtral, la velocità di addestramento proiettata si è discostata da quella misurata al massimo di circa il 10%.

Poiché l'agente di tuning sceglie le configurazioni in base ai punteggi proiettati, gli autori hanno confrontato anche le classifiche con quelle misurate. Le classifiche coincidevano esattamente per Mixtral e Qwen3 ed erano simili per GPT-OSS-120B; l'agente ha scelto il candidato migliore secondo le misurazioni in ogni test. Questo supporta l'uso delle proiezioni per guidare la ricerca nei casi testati.

Le evidenze supportano la ricerca guidata da proiezioni sui modelli e sui sistemi AMD testati. Non dimostrano l'accuratezza su altro hardware, non modellano la contesa di rete tra operazioni e non mostrano se le ricette FP8 convergono.