HarnessPro aumenta il successo degli agenti a costo inferiore
In parole semplici
L’harness di un agente è il software che guida il modo in cui un modello di AI usa gli strumenti e svolge le attività. Aggiungere controlli o esplorazione può aiutare l’agente a riuscire, ma può anche rendere più costosa ogni attività.
HarnessPro studia come migliorare quel software usando le registrazioni dei tentativi precedenti. Valuta le modifiche proposte con test generati e conserva opzioni orientate al costo più basso, a un equilibrio tra costo e prestazioni o a prestazioni maggiori.
Su un benchmark di attività svolte da terminale, con GPT-5.5 e Codex, l’opzione orientata alle prestazioni ha superato più attività a un costo medio inferiore rispetto al metodo di confronto.
La ricerca
Se un agente di AI riesce più spesso dopo aver aggiunto ragionamento o controlli, ogni attività deve anche costare di più? Eliminare questi passaggi senza distinzione può ridurre il successo; la sfida è capire quale lavoro aiuta e quale aggiunge una spesa evitabile.
HarnessPro usa il feedback delle esecuzioni e test generati per far evolvere gli harness degli agenti e selezionare opzioni che bilanciano successo nelle attività e costo di esecuzione.
Su Terminal-Bench 2, un benchmark di attività svolte da terminale, la pass rate misura quante attività superano tutti i test ufficiali. Con GPT-5.5 e Codex, l’opzione di HarnessPro orientata alle prestazioni ha registrato una pass rate media dell’80.8% e un costo di $0.72 per attività, su tre esecuzioni. Nel confronto riportato, RHO ha registrato il 76.3% e $1.09 per attività.
In questa configurazione, HarnessPro ha quindi ottenuto un successo maggiore nelle attività a un costo medio inferiore. La valutazione più ampia comprende anche SWE-Bench Pro, che verifica la risoluzione di problemi a livello di repository, ProgramBench, che verifica la ricostruzione di programmi, e una seconda configurazione di modello e agente.
Questi risultati aggiungono ulteriori contesti valutati, ma non estendono i valori di Terminal-Bench 2 a tutti i sistemi.
I risultati riguardano tre benchmark e due configurazioni di modello e agente; gli aggiornamenti sono stati sviluppati usando 10 attività di addestramento per benchmark.
I valori di Terminal-Bench 2 sono medie di tre esecuzioni di HarnessPro e non dimostrano che le stesse differenze si presentino in altri contesti.
Analisi
Dettagli
- Autori del paper originale
- Zhuoshi Pan, ZhiYuan Feng, Yukuo Cen, Honglin Lin, Junru Lu
- Inviato ad arXiv
- Licenza
- CC BY 4.0