IT
I punteggi basati sui riquadri ignorano clic che eseguono l’azione richiesta
In parole semplici
Per capire se un computer ha scelto il punto giusto sullo schermo, i ricercatori controllano spesso se il clic cade dentro un riquadro segnato. Questo criterio può giudicare sbagliato un clic utile se la stessa azione funziona anche fuori dal riquadro, oppure giudicare corretto un clic inutile che cade in una parte inattiva al suo interno.
Questo paper introduce un metodo che valuta i clic in base a ciò che succede quando vengono eseguiti. Sul sito Gitea testato, circa un clic su cinque tra quelli rifiutati dalla valutazione basata sui riquadri raggiungeva comunque il risultato richiesto, considerando i tre sistemi testati.
La ricerca
Quando a un sistema viene chiesto di cliccare un elemento dell’interfaccia, i ricercatori spesso considerano sbagliato un clic fuori dal riquadro assegnato all’elemento. Ma quel punteggio non dice se il clic abbia comunque eseguito l’azione richiesta.
Non è ancora chiaro quanto questa regola di valutazione alteri il confronto tra sistemi, soprattutto quando i punteggi sono vicini.
Il paper introduce un metodo di valutazione che giudica un clic sullo schermo dal suo risultato e verifica se le previsioni dei modelli raggiungono l’obiettivo desiderato.
Su una piattaforma di sviluppo software e un negozio online, la verifica ha confrontato le previsioni di tre sistemi di grounding con i risultati attesi mappati.
Tra i clic rifiutati dalla valutazione basata sui riquadri, il 17.6%–20.5% raggiungeva comunque il risultato sulla piattaforma di sviluppo e il 29.7%–38.1% sul negozio, usando istruzioni basate su modelli predefiniti.
Un audit in cieco ha trovato clic equivalenti anche negli screenshot statici, soprattutto nelle immagini web. Nel complesso, questi risultati sostengono la correzione dei punteggi basati sui riquadri per i successi non conteggiati; la stima sugli screenshot riguarda solo i clic rifiutati.
L’esecuzione dal vivo ha riguardato una piattaforma di sviluppo software e un negozio online ospitati autonomamente, mentre gli screenshot potevano essere valutati solo visivamente: questo audit non rileva i clic accettati che producono un risultato diverso.
Lo studio separato sui reward non ha trovato un vantaggio stabile soltanto per il modello 3B e il programma di addestramento testati.
Cosa mostrano le prove
- Perché i riquadri non bastano
La valutazione del grounding dell’interfaccia grafica basata sul risultato verifica se i sistemi che prevedono posizioni sullo schermo riescono davvero a eseguire l’azione richiesta. La consueta regola del riquadro considera corretto un punto solo se cade dentro un obiettivo segnato.
Eppure un altro punto può attivare la stessa azione, e alcuni punti interni al riquadro possono non fare nulla. Il paper chiede quanto questa regola falsi la valutazione degli errori nei sistemi che cliccano sugli elementi dell’interfaccia.
- Costruire un criterio basato sul risultato
Il metodo esegue clic sulle pagine dal vivo e ne registra i risultati, creando una mappa dei punti che attivano l’azione desiderata. Poi esegue il punto previsto dal modello e ne confronta il risultato con quello atteso.
Per gli screenshot pubblici, che non si possono cliccare, gli autori ricorrono a un audit umano in cieco basato sulla stessa definizione di risultato.
- Rilevare discrepanze sulle pagine dal vivo
Sulla piattaforma Gitea testata, i confini dei riquadri non coincidevano con il comportamento di 17.7% dei 4,970 obiettivi dal vivo. Nel negozio Django Oscar, la discrepanza riguardava il 31.2% di 1,224 obiettivi su 56 pagine idonee.
Queste pagine soddisfacevano una soglia per cui almeno il 95% dei punti ricontrollati riproduceva lo stesso risultato. Un obiettivo veniva conteggiato una volta se aveva un clic equivalente, una zona inattiva pari ad almeno il 10% del riquadro oppure un clic funzionante al di fuori di esso.
- Verificare i clic reali dei modelli
Mappare le differenze tra le regole non basta a dimostrare che cambiano i punteggi dei modelli, perciò i ricercatori hanno eseguito le previsioni di tre sistemi di grounding da 7–8B sugli stessi elementi dal vivo. Tra i clic rifiutati dalla regola dei riquadri, il 17.6%–20.5% raggiungeva comunque l’obiettivo su Gitea, e il 29.7%–38.1% su Oscar.
Sono quote distinte per modello, ottenute con istruzioni basate su modelli predefiniti, non risultati aggregati.
- Estendere l’audit agli screenshot
Il test statico ScreenSpot-v2 verifica se un sistema riesce a individuare un obiettivo dell’interfaccia a partire da un’istruzione e uno screenshot; la sua accuratezza abituale è la quota di punti previsti che cade dentro i riquadri annotati.
In un audit in cieco dei clic rifiutati di 11 modelli, i ricercatori hanno trovato clic equivalenti nel 6.4% dei 360 casi campionati con un giudizio chiaro: il 14.4% negli screenshot web, contro circa l’1% su mobile e desktop.
Attribuire un credito stimato ai clic equivalenti aumentava i punteggi dei modelli di 0.2–1.8 punti.
- Delimitare la correzione supportata dai dati
La correzione è dello stesso ordine delle differenze ravvicinate riportate: in 58 confronti ricavati dalla letteratura tra modelli proposti e il modello precedente più forte della stessa dimensione nella stessa tabella, la differenza assoluta mediana era di 1.15 punti.
Uno studio separato con tre seed non ha trovato un vantaggio stabile del reward basato sui clic equivalenti rispetto a quello basato sui riquadri, addestrando un modello 3B. Le prove sostengono quindi più chiaramente una correzione del punteggio che un beneficio per l’addestramento.
Dettagli
- Autori del paper originale
- Xiaokang Yuan, Binhui Yao, Luwei Yang, Ruimin Chen, Zeng Wang
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive