ES
Las pruebas ocultas revelan cambios incompletos en infraestructura hechos por agentes de programación
InfraDev: Can Coding Agents Develop AI Infrastructure, and How Can We Tell? · arXiv:2610.36589
En palabras sencillas
El artículo presenta InfraDev, un conjunto de pruebas para agentes de programación a los que se pide reproducir cambios reales en infraestructura de IA. Añade comprobaciones ocultas para requisitos que las pruebas propias de un proyecto pueden pasar por alto y describe las tareas indicando qué debe hacer el cambio, sin explicar cómo implementarlo.
Al añadir esas comprobaciones, los evaluadores rechazaron el 32% de las entregas que habían superado todas las pruebas oficiales. Esa proporción solo se refiere a las entregas que habían superado esas pruebas oficiales.
La investigación
Cuando las pruebas de una solicitud de cambio se superan, ¿demuestran que un cambio en infraestructura de IA funciona de verdad, incluidas la mejora de velocidad o el ahorro de memoria prometidos?
El artículo encontró que las pruebas oficiales suelen omitir requisitos numéricos o de comportamiento importantes, así que un parche aprobado puede no cumplir el propósito del cambio.
InfraDev combina pruebas ocultas adicionales y descripciones de tareas para evaluar si los agentes de programación completan cambios reales en infraestructura de IA.
InfraDev reúne 36 cambios reales de tres repositorios y añade pruebas ocultas para requisitos que las pruebas oficiales omiten. Las descripciones de las tareas indican el comportamiento y las interfaces requeridos, sin proporcionar la implementación.
Los evaluadores calificaron las mismas entregas con y sin las pruebas adicionales: las pruebas ocultas rechazaron el 32% de las entregas que habían superado todas las pruebas oficiales.
En las 36 tareas, GPT-6 Sol lideró entre seis agentes y resolvió el 38,9% según la medida de resolución de tareas de los autores.
InfraDev abarca 36 cambios seleccionados manualmente de tres repositorios, y los resultados de los agentes se limitan a seis sistemas evaluados.
Cada ejecución usó un nodo con ocho GPU durante un máximo de 2,5 horas; ampliar el conjunto de pruebas sigue requiriendo que especialistas del área seleccionen cambios adecuados.
Qué muestran las pruebas
- Pruebas con cambios reales
InfraDev es un conjunto de pruebas para agentes de programación a los que se pide reproducir cambios reales en infraestructura de IA para entrenamiento, inferencia y aprendizaje por refuerzo. Reúne 36 tareas de tres repositorios usados en producción. Una tarea cuenta como resuelta cuando el parche del agente supera al menos tantos casos de prueba como el cambio terminado por los desarrolladores. Así, los autores pueden comparar la resolución de tareas entre agentes.
- Superar las pruebas puede engañar
Los autores encontraron que las pruebas oficiales de las solicitudes de cambio a menudo omitían requisitos importantes.
En 13 de 15 cambios de rendimiento, no comprobaban si el cambio realmente ahorraba tiempo, memoria o comunicación. Por eso un parche podía superar las pruebas sin ofrecer el comportamiento prometido.
- Las pruebas adicionales cambian la evaluación
InfraDev añade hidden probes, es decir, pruebas adicionales para requisitos que las pruebas oficiales omiten. Para crearlas, el proceso primero genera parches incorrectos que superan las pruebas oficiales y luego redacta pruebas que detectan los requisitos incumplidos.
Al añadir esas pruebas a la evaluación, los evaluadores rechazaron el 32% de las entregas que habían superado todas las pruebas oficiales. La comparación muestra por qué aprobar solo las pruebas oficiales puede hacer parecer más completo un cambio de lo que está.
- Los resultados orientan los siguientes pasos
En las 36 tareas, GPT-6 Sol obtuvo la mayor proporción de tareas resueltas entre los seis agentes evaluados: 38,9%. En las 19 tareas de Megatron-LM, ni GPT-6 Sol ni DeepSeek V4 Pro resolvieron una tarea cuando recibieron las descripciones originales de las solicitudes de cambio y se evaluaron con pruebas ocultas.
En otra comparación con esas tareas de Megatron-LM, la proporción de tareas resueltas por GPT-5.6 Sol subió del 42,1% al 52,6% al recibir una habilidad de desarrollo reutilizable basada en patrones de fallo observados.
Detalles
- Autores del paper original
- Yangshen Deng, Jiaqi Ruan, Yeqi Huang, Nick Lau, Guangming Sheng
- Enviado a arXiv
- Licencia
- arXiv non-exclusive