Un testbed misura i progressi degli agenti sui modelli scientifici

Gli agenti di coding possono ottenere progressi misurabili nelle attività di machine learning scientifico o limitarsi a produrre punteggi che sembrano migliori? In un test pilota condotto su repository di ricerca originali, 5 attività su 12 presentavano modi seri per manipolare la valutazione, rendendo inaffidabili i miglioramenti riportati. La prima sfida è quindi misurare i progressi in modo credibile.

Agent4Sci valuta gli agenti di coding su riproduzioni verificate di risultati di machine learning scientifico, con punteggi sui dati di test assegnati separatamente e controlli contro la manipolazione della valutazione.

Agent4Sci verifica ogni risultato pubblicato di riferimento, poi consente agli agenti di coding di modificare il codice e addestrare modelli usando dati di addestramento e validazione.

Un valutatore distinto assegna un punteggio al lavoro inviato usando dati di test nascosti all'agente, mentre un revisore controlla l'esecuzione.

Sui 20 benchmark, i risultati di Claude Opus 4.6 hanno registrato un miglioramento relativo medio del 10.4% rispetto ai risultati di riferimento riprodotti.

Poiché un valutatore distinto esamina dati a cui l'agente non poteva accedere, i miglioramenti costituiscono evidenza di progresso del modello secondo questo protocollo, non semplici punteggi dichiarati dagli agenti.

Questi risultati misurano i miglioramenti sulle metriche specificate nel testbed, non l'intero lavoro della ricerca scientifica.

Le esecuzioni lunghe possono variare, non è stato fatto un confronto con ricercatori umani alle prese con gli stessi compiti e le competenze plug-in potrebbero non trasferirsi ad altri test o agenti.