Las trazas de interacción ayudan a evaluar el software durante su uso
En palabras sencillas
Un programa puede parecer correcto al mirar su código o una imagen y, aun así, fallar cuando alguien lo usa. Este artículo presenta Interaction-as-a-Judge: un agente que usa el ordenador hace clic, escribe y observa una aplicación; después, un juez usa ese registro para evaluarla o sugerir cambios.
En las comparaciones de preferencias sobre sitios web, Gemini 3 Flash coincidió más a menudo con las elecciones de los usuarios cuando recibió registros de interacción que cuando recibió código y una captura de pantalla. El resultado se limita a ese juez y a los sitios web evaluados.
La investigación
Cuando un sitio web o un juego compila, ¿puede un juez automatizado determinar si funciona correctamente o si coincide con lo que prefieren las personas?
El código y una captura de pantalla pueden pasar por alto problemas que solo aparecen al usar la aplicación. La pregunta es si las pruebas obtenidas al interactuar con ella mejoran esas evaluaciones.
Interaction-as-a-Judge hace que un agente use una aplicación y entrega el registro de esa interacción a un juez para que la evalúe o dé comentarios que puedan orientar reparaciones.
En ArenaPreferences, Gemini 3 Flash coincidió con las preferencias de los usuarios sobre sitios web en el 69.1% de las comparaciones por pares con registros de interacción iterativos, frente al 67.6% con código y una captura de pantalla.
El juez evaluó ambos órdenes de presentación de los candidatos, y el resultado informado promedia su coincidencia en esas comparaciones.
Entre los requisitos de juegos etiquetados como incumplidos, GPT 5.6 Sol los identificó con una precisión del 71.1% usando interacción, frente al 63.0% con solo el código. En conjunto, estas comparaciones muestran mejoras en las tareas evaluadas de preferencias y corrección.
Estos resultados proceden de comparaciones por pares de sitios web filtradas y de requisitos etiquetados para juegos; no demuestran un rendimiento válido para todas las aplicaciones ni para todos los jueces.
En los juicios de preferencia, GPT 5.6 Luna no mostró una diferencia estadísticamente significativa entre los enfoques.
Análisis
Detalles
- Autores del paper original
- Wayne Chi, I-Hung Hsu, Li Chen, Wei-Lin Chiang, Ion Stoica
- Enviado a arXiv
- Licencia
- CC BY 4.0