Los cambios frontend pueden pasar mientras se rompe el sitio

Cuando un agente modifica una parte de un sitio web, ¿cómo podemos saber si la función solicitada funciona y si las rutas e interacciones ya establecidas siguen intactas?

Superar las comprobaciones de la nueva petición quizá no responda a esa pregunta, porque el mismo cambio puede afectar a páginas y flujos de trabajo compartidos.

ProductWebBench es un benchmark que evalúa agentes de programación frontend comprobando los cambios solicitados junto con el comportamiento del sitio web ya establecido en el mismo repositorio.

ProductWebBench evalúa agentes de programación frontend comprobando un cambio solicitado junto con el comportamiento del sitio web establecido durante el desarrollo. En las pruebas por etapas, el sistema de evaluación volvió a comprobar los requisitos anteriores que ya se habían superado tras cada edición posterior y luego comparó la finalización del trabajo solicitado con comprobaciones separadas en el espacio de trabajo final.

De las 674 ejecuciones de Change que superaron todas las comprobaciones del trabajo solicitado, 190 (el 28.2%) todavía fallaron una comprobación conservadora. Esto muestra que completar la tarea solicitada no garantizó superar esas comprobaciones adicionales, aunque un fallo por sí solo no demuestra que el cambio lo causara.

Estas tasas describen las comprobaciones fijas y las ejecuciones evaluadas. Algunos juicios del verificador fueron incorrectos, y la comparación con el repositorio intacto se basó en capturas iniciales de otro entorno; los autores señalan que la concordancia entre entornos es un indicio favorable, pero no concluyente.