Una prueba con estado fijo muestra qué ayuda a reparar código

Cuando un agente de programación se atasca, ¿qué recurso ayuda realmente a su siguiente reparación: más cómputo, información sobre lo que debería hacer el código o retroalimentación de las pruebas? En una secuencia de reparación cambiante, es difícil separar estas entradas de los cambios en el estado del agente y en su revisión.

BRA crea copias del mismo estado fallido de un agente de programación con distintas combinaciones de recursos y luego compara el aporte promedio de cada recurso a una revisión final.

BRA compara recursos al dar a copias del mismo estado fallido de un agente de programación distintas combinaciones de cómputo, información y retroalimentación. El mismo modelo hace una revisión final para cada combinación, y el estudio evalúa las revisiones con pruebas reservadas. Este diseño permite a los autores estimar el aporte de cada recurso en un estado fijo.

En los fallos de nivel de función, las especificaciones auditadas del comportamiento requerido generalmente aportaron más que la retroalimentación de pruebas públicas. En los fallos de repositorio, el código recuperado aportó poco, mientras que una especificación derivada de referencias ayudó más en los mismos estados.

Los resultados apuntan a que importa el contenido de la información, pero se limitan a los fallos congelados y a la configuración de una sola revisión del estudio.

Estos resultados miden una revisión a partir de fallos congelados. La especificación del repositorio se derivó de soluciones de referencia, y el estudio no establece cómo funciona la retroalimentación a lo largo de una reparación de varios pasos ni qué información puede obtener un agente en la práctica.