Un nuovo messaggio dell’utente reindirizza il ragionamento errato

Quando il ragionamento di un modello va fuori strada, bisogna ricominciare da capo o si possono conservare i passaggi iniziali utili e reindirizzarlo? La risposta conta per capire se un modello può recuperare da un tentativo fallito senza riaddestrare il modello principale che ragiona.

UPTURN prova un metodo specifico per scegliere da dove ripartire e reindirizzare la risposta successiva.

UPTURN impara da dove ripartire in una risposta errata, ne conserva il ragionamento iniziale e reindirizza il modello invariato con un’istruzione in un nuovo messaggio dell’utente.

Su quattro modelli di ragionamento mantenuti invariati e sei test di matematica, i ricercatori hanno confrontato UPTURN con una baseline che generava 32 risposte complete per domanda. UPTURN ha generato 16 risposte iniziali; un componente separato stima se ciascuna sia corretta e quelle sotto la soglia fissa sono state corrette una volta, per un massimo di 32 generazioni.

L’accuratezza media per domanda, calcolata come media sui modelli e sui test, è stata del 55,3% con UPTURN e del 37,1% con Base.

Il risultato sostiene l’intera procedura di correzione in queste valutazioni: conservare una parte della risposta e reindirizzarne la continuazione può superare la generazione di un numero maggiore di risposte complete.

Il confronto non isola separatamente l’effetto del taglio appreso, dell’istruzione o del nuovo messaggio dell’utente.

Il confronto principale riguarda quattro modelli di ragionamento mantenuti invariati e sei test di matematica; i protocolli consentono fino a 32 generazioni per domanda. Base ha un limite massimo più alto di token generati, quindi il risultato non dimostra che i tempi effettivi di esecuzione siano uguali né isola l’effetto di una singola componente di UPTURN.

Lo studio riguarda attività di ragionamento verificabili automaticamente e un solo intervento volutamente minimale.