IT
Più sforzo di ragionamento può perdere successi meno costosi
What Effort Level Should I Choose? On the Economics of Reasoning Effort in LLM Agents · arXiv:2610.34491
In parole semplici
I modelli linguistici possono essere impostati per dedicare quantità diverse di sforzo al ragionamento su un’attività. Questo articolo verifica se più sforzo porti sempre a più successi e quanto costi, confrontando otto modelli su quattro test, compresi quelli in cui un agente usa strumenti in più passaggi.
Con più sforzo non sono rimaste sempre risolte tutte le attività riuscite con meno sforzo, e spesso i costi sono aumentati. Nelle valutazioni, una strategia che riprova con lo sforzo più alto solo dopo una verifica di correttezza fallita ha mantenuto o migliorato i risultati, ma non ha ridotto i costi per ogni modello e test.
La ricerca
Quando un modello linguistico risolve un’attività, gli utenti non possono sapere se l’impostazione di sforzo scelta fosse necessaria. Uno sforzo maggiore può aumentare il costo, ma scegliere in anticipo uno sforzo minore potrebbe far perdere una soluzione.
La domanda è se i risultati sulle singole attività possano chiarire quando il calcolo aggiuntivo è utile e se un modo diverso di distribuire lo sforzo possa ridurre questa incertezza.
Gli autori confrontano i livelli di sforzo attività per attività e verificano se riprovare con uno sforzo maggiore solo dopo una verifica fallita possa mantenere i risultati riducendo i costi.
Gli autori confrontano i livelli di sforzo per ciascun modello e configurazione di test, registrando i risultati delle attività e il costo totale in token delle esecuzioni degli agenti.
Rilevano che uno sforzo maggiore può non risolvere attività riuscite con meno sforzo e costa di più per quelle risolte a ogni livello.
Testano anche una strategia che inizia con uno sforzo basso e riprova con uno sforzo alto dopo una verifica esterna di fallimento. Il laddering ha mantenuto o migliorato i risultati nelle valutazioni, ma il vantaggio sui costi è dipeso dal test e dal modello.
Nella valutazione principale, le attività svolte dagli agenti sono state eseguite una sola volta per ciascun livello di sforzo: le inversioni osservate non dimostrano quindi che uno sforzo maggiore riduca la probabilità intrinseca di riuscita di un’attività.
Il laddering dipende inoltre da una verifica esterna affidabile della correttezza e addebita una nuova esecuzione quando riprova.
Cosa mostrano le prove
- Cosa cambia con lo sforzo
L’articolo esamina, a livello di singola attività, come lo sforzo di ragionamento dei modelli linguistici influisca sul successo, sui costi di esecuzione e sul comportamento degli agenti. Gli autori confrontano le impostazioni di sforzo per ciascun modello in quattro test: due usano una singola chiamata al modello, mentre negli altri due gli agenti agiscono attraverso più passaggi.
La domanda è se uno sforzo maggiore conservi sempre i successi ottenuti con meno sforzo e se gli eventuali successi aggiuntivi giustifichino il costo.
- I totali nascondono le inversioni
Terminal-Bench 2.1 valuta agenti che svolgono attività in un terminale; i punteggi riportati qui sono conteggi delle attività risolte. Per GPT-5.6-sol, passando dallo sforzo high a xhigh, otto attività sono andate perse e cinque sono state aggiunte, portando il totale da 76 a 73 su 89.
Ciascuno degli otto modelli ha avuto almeno un’attività risolta con il livello di sforzo più basso ma non con quello più alto. Ogni attività è stata eseguita una sola volta per impostazione: sono quindi inversioni osservate, non prove di una minore probabilità di successo.
- Più costi senza successi aggiuntivi
Gli autori confrontano anche la spesa per le attività che ciascun modello ha risolto a ogni livello di sforzo. Nel pilot originale di SWE-Bench Pro, che valuta agenti impegnati in attività software su repository, il costo medio per attività di GPT-5.6-sol è salito da 0,27 $ con sforzo low a 1,24 $ con xhigh.
Poiché il confronto include solo le attività risolte con ogni impostazione, l’aumento mostra una spesa maggiore senza successi aggiuntivi in quell’insieme comune.
- L’ambiente incide sui punteggi
Il confronto tra gli ambienti originale e corretto di SWE-Bench Pro aiuta a interpretare i punteggi originali. L’ambiente corretto rimuove la cronologia dei repository e limita l’accesso alla rete; sulle stesse 44 istanze, con GPT-5.6-sol e l’impostazione xhigh il tasso di risoluzione è sceso dal 77,3% al 59,1%.
Il tasso è diminuito per tutti e otto i modelli con la loro impostazione più alta tra quelle valutate. Poiché sono cambiati sia la cronologia sia l’accesso alla rete, il confronto non identifica nessuno dei due come causa isolata.
- Il feedback guida i nuovi tentativi
Infine, gli autori testano il laddering: iniziare con uno sforzo low e riprovare con uno sforzo high solo dopo che una verifica esterna segnala un fallimento. Rispetto all’uso costante dell’impostazione più alta, il laddering ha mantenuto o migliorato la riuscita nei modelli e nei test valutati, ma il vantaggio sui costi è variato.
Su Terminal-Bench, che valuta agenti impegnati in attività al terminale, il laddering ha migliorato la quota di attività risolte per tutti gli otto modelli; i costi sono diminuiti per quattro, mentre gli altri quattro hanno ottenuto più successi a costi maggiori.
L’approccio richiede inoltre un riscontro esterno affidabile e paga una nuova esecuzione quando riprova.
Dettagli
- Autori del paper originale
- Kaiser Sun, Yongchan Kwon, Zain Hasan, Shang Zhu, Kaitlyn Zhou
- Inviato ad arXiv
- Licenza
- CC BY 4.0