RoleQ adatta le scale dei pesi ternari al ruolo delle unità

Sotto i quattro bit per peso, un modello linguistico può ancora prevedere il testo in modo accettabile, ma perdere conoscenze fattuali e precisione nelle attività.

L’articolo chiede se convertire un checkpoint esistente in pesi ternari possa preservare meglio quelle conoscenze senza ricorrere alle costose procedure di addestramento usate da alcune alternative.

RoleQ-T converte modelli linguistici esistenti in pesi ternari e assegna le scale in base al fatto che ogni unità legga dal residual stream condiviso o vi scriva.

Gli autori si chiedono se sia possibile convertire modelli linguistici esistenti in pesi con pochissimi bit senza perdere altrettante conoscenze fattuali e precisione nelle attività.

RoleQ-T combina scale assegnate in base alla funzione delle unità con una procedura di conversione ternaria e un breve passo che modifica le scale mantenendo fissi i codici dei pesi.

Su Qwen3-8B-Base, il sistema di valutazione degli autori ha rilevato un punteggio MMLU di 47.6 dopo questo passo, contro un intervallo da 25.9 a 34.8 per tre metodi ternari testati dopo l’addestramento, ciascuno nella sua migliore fase disponibile.

MMLU verifica conoscenze accademiche e indica la quota di risposte corrette. Il risultato supporta la procedura su quel checkpoint, anche se i tassi in bit e le fasi dei metodi differiscono.

Questi risultati riguardano la memoria occupata dai pesi e alcune prove di qualità sui checkpoint elencati. Il vantaggio nel posizionamento delle scale è stato osservato in una base ruotata; la valutazione non misura generazione, ragionamento, velocità o consumo energetico.