I punteggi individuali spesso non rivelano quali modelli aiutano il gruppo

Quando i modelli linguistici lavorano insieme, come possono i ricercatori capire quale partecipante aiuta davvero il sistema? Un test individuale misura le risposte di un modello da solo, mentre la domanda di ricerca è se quel modello migliori la risposta condivisa quando si unisce agli altri.

Il compositional reinforcement learning addestra un modello all'interno di una collaborazione e lo premia in base al risultato del gruppo, orientando l'apprendimento verso il suo contributo alla risposta condivisa.

L'articolo stima il contributo di un modello confrontando il punteggio di una collaborazione con tutti i modelli presenti con quello ottenuto dopo averne rimosso uno.

Propone inoltre il compositional reinforcement learning (C-RL), che addestra un modello all'interno della collaborazione usando il risultato del gruppo come ricompensa.

Con tre protocolli e otto attività, C-RL ha superato il modello non addestrato in tutte le 24 combinazioni e ha ottenuto il punteggio più alto in 21.

Questo sostiene l'utilità di addestrare per il risultato condiviso: in alcuni casi, l'addestramento basato sulla ricompensa individuale ha aumentato il punteggio del modello da solo mentre riduceva quello del gruppo.

I confronti riguardano i modelli, i collaboratori, le attività e i protocolli di collaborazione riportati nello studio. La fonte non stabilisce che tutti i metodi siano partiti dalla stessa versione iniziale del modello.

I risultati ottenuti tramite API proprietarie potrebbero cambiare quando i fornitori aggiornano i loro modelli.