Un agente di coding ottimizza le configurazioni di addestramento con controlli di correttezza

I team che addestrano modelli devono spesso ottimizzare di nuovo una configurazione per ogni modello e assetto hardware. Ma una ricerca automatica può aumentare la velocità assicurandosi che un’esecuzione riuscita addestri comunque il modello come previsto?

ATTUNE affronta entrambe le esigenze combinando la ricerca di configurazioni con controlli separati dall’agente.

ATTUNE usa un agente di coding guidato dalla diagnosi per cercare impostazioni di addestramento; un piano di controllo separato verifica le candidate prima della distribuzione.

Per un dato modello e ambiente di addestramento, un sistema automatico può migliorare una configurazione funzionante senza cambiare ciò che il modello impara?

ATTUNE affida a un agente di coding la diagnosi delle esecuzioni e la ricerca di impostazioni, mentre un piano di controllo separato verifica le candidate e la configurazione finale prima della distribuzione.

I ricercatori hanno confrontato le configurazioni distribuite da ATTUNE con configurazioni pubbliche adattate al carico di lavoro di ciascun modello. Le misurazioni finali hanno mostrato un throughput medio più alto per GLM-4.5 e Llama-3.1-405B; per Mixtral-8x22B, il guadagno della configurazione migliore è rimasto entro la fascia di rumore, quindi è stata mantenuta la configurazione pubblica. Le prove supportano un guadagno in due casi testati, non un miglioramento universale.

La valutazione ha tenuto fuori dallo sviluppo di ATTUNE i modelli usati nei test, ma ha impiegato lo stesso stack software, gli stessi acceleratori e lo stesso modello di agente.

ATTUNE cerca tra le impostazioni rese disponibili dal framework e dall’immagine di addestramento; lo studio non dimostra che trovi la configurazione più veloce possibile o che funzioni in altri ambienti.