IT
Gli agenti possono migliorare il codice di ricerca, ma molti compiti mettono in difficoltà tutti gli agenti
FrontierCS 2: A Benchmark for Computer Science R&D · arXiv:2610.29932
In parole semplici
FrontierCS 2 verifica se gli agenti basati su modelli linguistici riescono a migliorare il codice usato nella ricerca informatica. Per molti compiti, gli autori rimuovono dal codice pubblicato insieme a un paper il suo contributo principale e chiedono all’agente di ricostruirlo nello stesso repository.
Durante il lavoro il sistema di valutazione dà feedback, ma controlla in privato la modifica finale scelta dall’agente. Per superare la prova, questa deve soddisfare tutti i requisiti su carichi di lavoro che l’agente non ha visto.
Sui 48 compiti, l’agente migliore ha superato il 58% delle esecuzioni; su 16 compiti nessun agente ha superato alcuna esecuzione.
La ricerca
Un agente basato su un modello linguistico può migliorare un sistema pubblicato nella sua stessa base di codice e raggiungere lo standard fissato dall’implementazione rilasciata dai suoi autori?
Le precedenti prove di programmazione aperta descritte dagli autori valutano un singolo programma alla fine dell’esecuzione e lasciano senza risposta questa domanda sul codice di ricerca.
FrontierCS 2 mette alla prova gli agenti nei repository di codice di ricerca e confronta le modifiche finali scelte con le implementazioni pubblicate nei paper, usando carichi finali riservati.
FrontierCS 2 ricava compiti dai repository di ricerca rimuovendo il contributo di ciascun paper e conservando il codice rimosso come riferimento. Gli agenti inviano modifiche e ricevono feedback durante lo sviluppo, ma il sistema di valutazione controlla in privato la modifica finale scelta confrontandola con quel riferimento sui carichi finali.
Un’esecuzione supera la prova solo se tutte le metriche rispettano le soglie su ogni carico di lavoro.
Sui 48 compiti, il migliore dei 12 agenti composti da un modello e un harness ha superato il 58% delle sue esecuzioni; su 16 compiti nessun agente ha superato alcuna esecuzione. Il risultato mostra che alcuni agenti possono soddisfare questo criterio impegnativo su una parte dei compiti, ma anche che su molti compiti nessuno ci è riuscito.
Un punteggio combinato più alto spesso non bastava a raggiungere una soglia richiesta: punteggio e superamento della prova misurano aspetti diversi.
Questi risultati descrivono una sola esecuzione per agente su ciascuno dei 48 compiti riportati. FrontierCS 2 include anche un insieme privato separato di oltre 100 compiti, che non è stato valutato in questo rapporto.
Cosa mostrano le prove
- Una domanda diversa sulla programmazione
FrontierCS 2 verifica se gli agenti basati su modelli linguistici possono migliorare il codice di ricerca nel repository in cui è stato pubblicato. Nelle precedenti prove di programmazione aperta descritte dagli autori, l’agente riceve un testo con il problema e, al termine dell’esecuzione, viene valutato un singolo programma.
Qui lavora all’interno di una base di codice di ricerca e il risultato viene confrontato con l’implementazione degli stessi autori del paper.
- Il riferimento viene dal paper
Per la maggior parte dei compiti, gli autori rimuovono il codice che realizza il contributo del paper e lo conservano come riferimento umano. L’agente riceve il repository rimanente e deve ricostruire quel contributo.
Il confronto avviene così nel codice e sui carichi di lavoro del paper stesso. Un compito, Structured LWE, è una sfida originale di crittoanalisi, non un compito creato rimuovendo codice di ricerca.
- Che cosa significa superare la prova
Mentre l’agente lavora, il sistema di valutazione restituisce i punteggi della suite di sviluppo, ma mantiene riservati il programma di valutazione, i carichi finali e il riferimento. L’agente sceglie una modifica finale, che supera la prova solo se batte il riferimento su ogni metrica e su ogni carico finale.
Il tasso di superamento del benchmark conta quindi la quota di esecuzioni sui compiti che soddisfa questo criterio completo, non soltanto quelle con un punteggio combinato più alto.
- Risultati sui diversi compiti
Sui 48 compiti, Claude Opus 5.5 abbinato a Claude Code ha ottenuto il tasso di superamento più alto: il 58% delle sue esecuzioni ha superato la prova. Tutti gli altri agenti valutati l’hanno superata in meno della metà delle esecuzioni e su 16 compiti nessun agente ha superato alcuna esecuzione.
Sono medie calcolate sulle esecuzioni dei compiti, con una sola esecuzione per agente e per compito; non indicano che l’agente migliore abbia superato ogni compito.
- I punteggi non mostrano tutti i compromessi
Un punteggio finale superiore a quello del riferimento umano spesso non bastava per superare la prova: la maggior parte di quelle esecuzioni mancava comunque almeno una soglia su una metrica o un carico di lavoro. Alcune esecuzioni che hanno superato la prova hanno ottenuto punteggi pari o inferiori a quello del riferimento.
In tre studi di caso, gli autori hanno inoltre rilevato costi aggiuntivi che il risultato di superamento o il punteggio finale potevano non mostrare; per questo raccomandano di riportarli insieme ai risultati.
Dettagli
- Autori del paper originale
- Qiuyang Mang, Wenhao Chai, Runyuan He, Dongruixuan Li, Zihan Zheng
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive