PACE-Bench verifica se gli agenti di coding soddisfano le richieste complete

Un agente di coding può superare i test dei singoli componenti lasciando incompleta una regola aziendale o una connessione con il codice esistente. Quando una richiesta specifica più condizioni di accettazione, come si può capire se è stata soddisfatta per intero e individuare ciò che manca?

PACE-Bench confronta le modifiche degli agenti di coding con requisiti fissi verificati da esperti e collega le condizioni non soddisfatte alle evidenze nel codice e nelle tracce di esecuzione.

Nei progetti software maturi, un agente di coding può superare controlli isolati e lasciare insoddisfatta una regola aziendale o un requisito di integrazione.

Come può una valutazione giudicare l’intera richiesta e mostrare quali condizioni mancano, invece di comprimere lacune diverse in un unico punteggio?

PACE-Bench confronta le patch con criteri di accettazione fissi e verificati da esperti, collegando i requisiti non soddisfatti alle evidenze nel codice e nell’esecuzione. Su 43 compiti, la configurazione migliore tra quelle riportate ha rispettato la regola di consegna completa in 6 casi.

In una verifica separata, il valutatore ha coinciso con il consenso degli annotatori tecnici nel 95.2% di 750 giudizi sulle patch di Qwen Run 1.

Questi risultati riguardano i 43 compiti di produzione e le configurazioni testate. Il confronto tra release riporta una configurazione Opus-4.5 per release, quindi non dimostra che i soli cambiamenti al harness abbiano causato l’aumento del punteggio.

Inoltre, l’insieme dei compiti non copre fonti alternative come le merge request o la struttura dei repository.