IT
La scelta dell’harness cambia i risultati dei modelli leggeri di coding
Pairing Matters: Performance, Failures, and Efficiency in Lightweight Coding Agents · arXiv:2610.32131
In parole semplici
Un modello che scrive codice può lavorare con diversi software agenti. Ciascun agente, detto harness, gli fornisce informazioni sul repository e strumenti, poi esegue e controlla le modifiche al codice che propone.
Gli autori hanno provato sei harness con tre modelli leggeri sugli stessi compiti di programmazione. A parità di modello, la quota di compiti risolti differiva fino a 44 punti percentuali tra harness. Il risultato vale per gli abbinamenti e i compiti valutati nello studio.
La ricerca
Quando un modello che scrive codice ottiene risultati scarsi, il problema è il modello stesso o un software agente diverso potrebbe cambiare ciò che riesce a fare?
Le valutazioni precedenti spesso testavano abbinamenti fissi tra modello e harness, lasciando poche evidenze su quanto la scelta dell’harness incidesse, a parità di modello, sui compiti risolti, sui fallimenti e sul costo in token.
Gli autori confrontano tutti gli abbinamenti tra sei harness per agenti e tre modelli leggeri sugli stessi compiti di programmazione, per misurare come l’harness cambi i risultati di ciascun modello.
SWE-bench Verified verifica se gli agenti software risolvono compiti di programmazione in repository; i punteggi indicano se i compiti sono stati risolti. Gli autori hanno abbinato sei harness open source a tre modelli leggeri per scrivere codice.
Ogni abbinamento ha tentato gli stessi 100 compiti, con condizioni comuni di esecuzione dei modelli, conteggio dei token e valutazione.
A parità di modello, i tassi di completamento differivano fino a 44 punti percentuali tra harness, mentre la graduatoria degli harness cambiava da un modello all’altro.
Poiché nei confronti tra harness si mantenevano uguali il modello e l’insieme di compiti, i risultati mostrano che la scelta dell’harness ha cambiato le prestazioni misurate in questa valutazione.
I risultati riguardano tre modelli leggeri per scrivere codice, sei harness open source e i 100 compiti di SWE-bench Verified valutati nelle condizioni comuni dello studio. Non stabiliscono come si comporterebbero altri abbinamenti o altri insiemi di compiti.
Cosa mostrano le prove
- Che cosa misura il confronto
Questo paper valuta empiricamente gli abbinamenti di agenti leggeri per la programmazione. Un harness gestisce, per il modello, le informazioni sul repository, l’accesso agli strumenti, l’esecuzione del codice, la verifica e l’invio delle modifiche.
La domanda è se cambiare harness cambi i risultati dello stesso modello. SWE-bench Verified verifica se gli agenti software risolvono compiti di programmazione in repository; i punteggi indicano se ciascun compito è stato risolto.
- Gli stessi compiti per tutti
Gli autori hanno abbinato sei harness open source a tre modelli leggeri. Tutti i 18 abbinamenti hanno tentato gli stessi 100 compiti di SWE-bench Verified, per un totale di 1.800 esecuzioni valutate con condizioni comuni di esecuzione dei modelli, conteggio dei token e valutazione.
Confrontare gli harness usando lo stesso modello e gli stessi compiti permette di osservare l’effetto della scelta dell’harness in questa valutazione.
- I risultati cambiano con l’abbinamento
Per lo stesso modello, i tassi di completamento differivano fino a 44 punti percentuali tra harness, e la graduatoria degli harness cambiava da un modello all’altro. Ciò significa che, in questo studio, il tasso di completamento misurato dipendeva dall’harness; non significa che la posizione in classifica di ogni harness cambiasse per ciascun modello.
Per questo gli autori considerano la scelta del modello e quella dell’harness come un’unica decisione di abbinamento.
- Cambiano anche i tipi di fallimento
Gli autori hanno anche classificato 1.100 esecuzioni non riuscite usando una classificazione basata su evidenze, con cinque meccanismi comportamentali di fallimento. Gli schemi di fallimento variavano tra gli abbinamenti: quindi non cambiava solo il tasso di completamento. Le evidenze riportate non specificano i nomi delle categorie né i rispettivi tassi.
- L’efficienza dipende dall’abbinamento
Tra gli abbinamenti con harness a ciclo guidato dal modello, i token addebitati per compito risolto variavano di oltre 20 volte. La misura rapporta i token addebitati ai compiti risolti e la variazione riportata riguarda solo quel sottoinsieme di harness.
Nel complesso, i risultati sostengono il confronto degli abbinamenti in base al completamento dei compiti, agli schemi di fallimento e all’uso dei token, limitatamente ai modelli e ai compiti valutati.
Dettagli
- Autori del paper originale
- Lu Zhao, Christopher M. Poskitt, David Lo
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive