Un test a stato fisso mostra cosa aiuta gli agenti di coding a riparare il codice

Quando un agente di coding si blocca, quale risorsa aiuta davvero la riparazione successiva: più calcolo, informazioni su cosa dovrebbe fare il codice o feedback dei test?

In un percorso di riparazione che cambia, è difficile separare questi input dai cambiamenti nello stato dell’agente e nella sua revisione.

BRA crea copie dello stesso stato fallito di un agente di coding con diverse combinazioni di risorse, poi confronta il contributo medio di ciascuna a una sola revisione finale.

BRA confronta le risorse fornendo a copie dello stesso stato fallito di un agente di coding diverse combinazioni di calcolo, informazioni e feedback. Lo stesso modello fa una sola revisione finale per ciascuna combinazione e lo studio valuta le revisioni con test riservati.

Questo metodo permette agli autori di stimare il contributo di ogni risorsa a partire da uno stato fisso.

Negli errori a livello di funzione, le specifiche verificate del comportamento richiesto hanno generalmente contribuito più del feedback dei test pubblici. Negli errori a livello di repository, il codice recuperato ha contribuito poco, mentre una specifica ricavata da correzioni di riferimento ha aiutato di più sugli stessi stati.

I risultati indicano che il contenuto delle informazioni è importante, ma valgono per gli errori congelati e la procedura con una sola revisione esaminati nello studio.

Questi risultati misurano una sola revisione a partire da errori congelati. La specifica del repository è stata ricavata da correzioni di riferimento; lo studio non stabilisce come funzioni il feedback lungo un percorso di riparazione in più passaggi né quali informazioni un agente possa ottenere nella pratica.