Le modifiche frontend possono superare i controlli mentre il sito si rompe

Quando un agente modifica una parte di un sito, come possiamo capire se la funzione richiesta è operativa e se le pagine e le interazioni già esistenti continuano a funzionare?

Superare i controlli sulla nuova richiesta potrebbe non bastare a rispondere, perché la stessa modifica può influire sulle pagine e sui flussi di lavoro condivisi.

ProductWebBench è un benchmark che valuta gli agenti di coding frontend verificando le modifiche richieste insieme al comportamento del sito già stabilito nello stesso repository.

ProductWebBench valuta gli agenti di coding frontend verificando una modifica richiesta insieme al comportamento del sito stabilito durante lo sviluppo. Nei test a fasi, l’ambiente di test ha ricontrollato i requisiti già superati dopo ogni modifica successiva, poi ha confrontato il completamento del lavoro richiesto con verifiche separate sullo spazio di lavoro finale.

Tra le 674 esecuzioni Change che hanno superato tutti i controlli sul lavoro richiesto, 190 (28.2%) hanno comunque fallito una verifica prudenziale. Questo mostra che completare l’attività richiesta non garantiva il superamento di quei controlli aggiuntivi, anche se il fallimento di un controllo, da solo, non dimostra che la modifica ne sia stata la causa.

Questi tassi descrivono i controlli congelati e le esecuzioni valutate. Alcuni giudizi dei verificatori erano errati e il confronto con il repository intatto si basava su acquisizioni iniziali effettuate in un ambiente diverso; gli autori affermano che l’accordo tra ambienti è un riscontro a supporto, ma non conclusivo.