ES
Los agentes pueden mejorar el código de investigación, pero muchas tareas los superan a todos
FrontierCS 2: A Benchmark for Computer Science R&D · arXiv:2610.29932
En palabras sencillas
FrontierCS 2 evalúa si los agentes basados en modelos de lenguaje pueden mejorar código de investigación en informática. En muchas tareas, los autores quitan del código publicado con un artículo su contribución principal y piden al agente que la reconstruya en el mismo repositorio.
El sistema evaluador ofrece retroalimentación durante el trabajo, pero revisa en privado el parche final elegido por el agente. Para aprobar, ese parche debe cumplir todos los requisitos en cargas de trabajo que el agente no ha visto.
En 48 tareas, el agente líder aprobó el 58% de sus ejecuciones, mientras que ningún agente aprobó ejecución alguna en 16 tareas.
La investigación
¿Puede un agente basado en un modelo de lenguaje mejorar un sistema de informática publicado dentro de su propio repositorio y alcanzar el estándar de la implementación que sus autores publicaron? Las pruebas de programación abierta que describen los autores puntúan un único programa al terminar la ejecución y dejan sin responder esta pregunta sobre código de investigación.
FrontierCS 2 evalúa agentes dentro de repositorios de investigación y compara los parches finales que eligen con las implementaciones publicadas en los artículos, usando cargas de trabajo finales privadas.
FrontierCS 2 crea tareas a partir de repositorios de investigación: elimina la contribución de cada artículo y conserva el código eliminado como referencia. Los agentes envían parches y reciben retroalimentación de desarrollo, pero el sistema evaluador comprueba en privado el parche final elegido frente a esa referencia y con cargas de trabajo finales. Una ejecución aprueba solo si todas las métricas alcanzan su umbral en todas las cargas de trabajo.
Entre 12 agentes formados por un modelo y un harness, el de mejor resultado aprobó el 58% de sus ejecuciones en 48 tareas; ningún agente aprobó ejecución alguna en 16 tareas. El resultado muestra que algunos agentes pueden cumplir este exigente criterio en una parte de las tareas, y también que hay muchas en las que ninguno lo logró.
A menudo, una puntuación combinada más alta aún dejaba sin cumplir algún umbral, así que la puntuación y la aprobación reflejan aspectos distintos.
Estos resultados describen una ejecución de cada agente en cada una de las 48 tareas reportadas. FrontierCS 2 también tiene un conjunto privado independiente de más de 100 tareas, que no se evaluó en este informe.
Qué muestran las pruebas
- Una pregunta distinta sobre programación
FrontierCS 2 evalúa si los agentes basados en modelos de lenguaje pueden mejorar código de investigación dentro del repositorio donde se publicó.
En las pruebas de programación abierta que describen los autores, se da al agente la descripción de un problema y se puntúa un programa al terminar la ejecución. Aquí, el agente trabaja dentro de una base de código de investigación y su resultado se compara con la implementación de los propios autores del artículo.
- La referencia procede del artículo
En la mayoría de las tareas, los autores eliminan el código que implementa la contribución del artículo y lo conservan como referencia humana.
El agente recibe el resto del repositorio y debe reconstruir esa contribución. Esto permite una comparación concreta dentro del código y las cargas de trabajo del propio artículo. Una tarea, Structured LWE, es un desafío original de criptoanálisis, no una tarea creada al quitar código de investigación.
- Qué cuenta como aprobar
Mientras el agente trabaja, el sistema evaluador devuelve puntuaciones del conjunto de pruebas de desarrollo, pero mantiene en privado el evaluador, las cargas de trabajo finales y la implementación de referencia. El agente elige un parche final, que aprueba solo si supera la referencia en cada métrica y en todas las cargas de trabajo finales.
Por tanto, la tasa de aprobación del benchmark cuenta la proporción de ejecuciones del agente que cumplen todo el criterio, no solo las que obtienen una puntuación combinada más alta.
- Resultados en el conjunto de tareas
En las 48 tareas, Claude Opus 5.5 junto con Claude Code obtuvo la tasa de aprobación más alta: aprobó el 58% de sus ejecuciones. Todos los demás agentes evaluados aprobaron menos de la mitad de sus ejecuciones, y ningún agente aprobó ejecución alguna en 16 tareas.
Son promedios de las ejecuciones en tareas; cada agente se ejecutó una vez por tarea. No implican que el agente líder aprobara todas las tareas.
- Las puntuaciones pueden ocultar costos
Una puntuación final superior a la referencia humana no solía bastar para aprobar: la mayoría de esas ejecuciones aún incumplían al menos un umbral de métrica o de carga de trabajo.
Algunas ejecuciones aprobadas obtuvieron puntuaciones iguales o inferiores a la referencia. En tres estudios de caso, los autores también detectaron costos secundarios que la aprobación o la puntuación final podían pasar por alto; por eso recomiendan informar esos costos junto con los resultados de aprobación.
Detalles
- Autores del paper original
- Qiuyang Mang, Wenhao Chai, Runyuan He, Dongruixuan Li, Zihan Zheng
- Enviado a arXiv
- Licencia
- arXiv non-exclusive