Les traces d'interaction aident les juges à évaluer les logiciels tels qu'ils sont utilisés

Quand un site web ou un jeu compile, un juge automatisé peut-il déterminer s'il se comporte correctement ou correspond à ce que les utilisateurs préfèrent ?

Le code statique et une capture d'écran peuvent manquer des problèmes qui n'apparaissent qu'à l'usage ; la question est donc de savoir si les preuves tirées de l'utilisation effective de l'application améliorent ces jugements.

Interaction-as-a-Judge fait opérer une application par un agent informatique, puis transmet la trace de ses actions à un juge pour évaluation ou retour correctif.

Sur ArenaPreferences, Gemini 3 Flash a correspondu aux préférences par paires des utilisateurs pour des sites web à 69,1 % avec des traces d'interaction itératives, contre 67,6 % avec le code et une capture d'écran.

Le juge a évalué les deux ordres de candidats, et le résultat rapporté est la moyenne de l'accord sur ces jugements.

Pour les exigences de jeux étiquetées comme brisées, GPT 5.6 Sol les a identifiées avec une précision de 71,1 % grâce à l'interaction, contre 63,0 % avec le seul code. Ces deux comparaisons montrent des gains sur les tâches de préférence et de vérification testées.

Ces résultats proviennent de comparaisons par paires de sites web filtrés et d'exigences étiquetées pour des jeux ; ils n'établissent pas les performances sur l'ensemble des applications ou des juges.

Pour les jugements de préférence, GPT 5.6 Luna n'a montré aucune différence statistiquement significative entre les approches.