Le interaction trace aiutano i giudici a valutare il software durante l'uso reale
In parole semplici
Un programma può sembrare corretto nel codice o in un'immagine e fallire comunque quando qualcuno lo usa. Questo articolo introduce Interaction-as-a-Judge: un agente che usa il computer clicca, digita e osserva un'applicazione, poi un giudice usa quel registro per valutare l'applicazione o suggerire correzioni.
Nei confronti delle preferenze sui siti web, Gemini 3 Flash ha abbinato le scelte degli utenti più spesso quando ha ricevuto i record di interazione rispetto a quando ha ricevuto codice e uno screenshot. Il risultato è specifico per quel giudice e per i siti web testati.
La ricerca
Quando un sito web o un gioco compila correttamente, un giudice automatizzato è in grado di stabilire se si comporta in modo corretto o corrisponde a ciò che le persone preferiscono?
Il codice statico e uno screenshot possono non rilevare problemi che emergono solo durante l'uso, quindi la domanda è se le prove ricavate dall'interazione con l'applicazione migliorano tali valutazioni.
Interaction-as-a-Judge fa operare un agente sull'applicazione e consegna la sua trace a un giudice per valutazione o feedback che può guidare le correzioni.
Su ArenaPreferences, Gemini 3 Flash ha concordato con le preferenze pairwise degli utenti sui siti web nel 69,1% dei casi usando interaction record iterativi, contro il 67,6% con codice e screenshot.
Il giudice ha valutato entrambi gli ordini dei candidati e il risultato riportato media l'accordo tra queste valutazioni.
Sui requisiti di gioco etichettati come rotti, GPT 5.6 Sol li ha identificati con una precisione del 71,1% usando l'interazione, contro il 63,0% usando solo il codice. Insieme, questi confronti mostrano miglioramenti sui task di preferenza e correttezza testati.
Questi risultati provengono da confronti pairwise su siti web filtrati e da requisiti etichettati per giochi; non stabiliscono le prestazioni su tutti i tipi di applicazione o di giudice.
Per i giudizi di preferenza, GPT 5.6 Luna non ha mostrato differenze statisticamente significative tra i due approcci.
Analisi
Dettagli
- Autori del paper originale
- Wayne Chi, I-Hung Hsu, Li Chen, Wei-Lin Chiang, Ion Stoica
- Inviato ad arXiv
- Licenza
- CC BY 4.0