ES
Las puntuaciones por cajas pasan por alto clics que realizan la acción solicitada
En palabras sencillas
Para comprobar si una computadora eligió el lugar correcto de una pantalla, los investigadores suelen mirar si su clic cae dentro de una caja marcada. Eso puede hacer que un clic útil parezca incorrecto si la misma acción funciona fuera de la caja, o que uno inútil parezca correcto si cae en una zona inactiva dentro de ella.
Este artículo propone juzgar los clics por lo que ocurre al hacerlos. En una plataforma de código probada, cerca de uno de cada cinco clics rechazados por la puntuación basada en cajas alcanzó el resultado solicitado en los tres sistemas probados.
La investigación
Cuando se pide a un sistema que haga clic en un elemento de una interfaz, los investigadores suelen considerar incorrecto todo clic que quede fuera de su caja etiquetada. Pero esa puntuación no permite saber si el clic aun así realizó la acción solicitada.
Sigue sin estar claro hasta qué punto esta regla de evaluación distorsiona las comparaciones entre sistemas, sobre todo cuando sus puntuaciones son cercanas.
El artículo presenta un método de evaluación que juzga un clic en pantalla por su resultado y comprueba si las predicciones de los modelos alcanzan el resultado esperado para el destino.
En una plataforma de código y una tienda en línea, la prueba comparó las predicciones de tres sistemas de anclaje con los resultados esperados para los destinos mapeados.
De los clics rechazados por la puntuación por cajas, entre el 17.6% y el 20.5% alcanzó el resultado en la plataforma de código, y entre el 29.7% y el 38.1% lo hizo en la tienda, con instrucciones de plantilla.
Una auditoría a ciegas también encontró clics equivalentes en capturas estáticas, sobre todo en imágenes web. En conjunto, estos resultados respaldan corregir las puntuaciones por cajas para tener en cuenta los éxitos que pasan por alto; la estimación basada en capturas solo abarca clics rechazados.
La ejecución en vivo abarcó una plataforma de código y una tienda alojadas por sus responsables, mientras que las capturas de pantalla solo podían evaluarse visualmente; esa auditoría no detecta los clics aceptados que producen un resultado distinto.
El estudio separado sobre recompensas solo halló que no había una ventaja estable para el modelo 3B y el programa de entrenamiento probados.
Qué muestran las pruebas
- Por qué las cajas pasan por alto clics
La evaluación del anclaje en interfaces gráficas de usuario basada en resultados permite comprobar si los sistemas que predicen ubicaciones en pantalla producen la acción solicitada. La regla habitual de las cajas solo considera correcto un punto si cae dentro de un destino marcado.
Sin embargo, otro punto puede activar la misma acción, y algunos puntos dentro de la caja pueden no hacer nada. El artículo pregunta hasta qué punto esta regla interpreta mal los errores que siguen cometiendo los sistemas que hacen clic en interfaces.
- Crear un evaluador por resultados
El método ejecuta clics en páginas activas y registra los resultados para crear un mapa de puntos que producen la acción esperada. Después ejecuta el punto predicho por un modelo y compara el resultado con el esperado para el destino.
Para las capturas públicas, que no se pueden pulsar, los autores recurren a una auditoría humana a ciegas basada en la misma definición de resultado.
- Detectar discrepancias en páginas activas
En la plataforma de código Gitea probada, el 17.7% de 4,970 destinos activos discrepaba de los límites de las cajas. En la tienda Django Oscar, discrepaba el 31.2% de 1,224 destinos en 56 páginas que cumplían los requisitos.
Esas páginas alcanzaron el umbral en que al menos el 95% de los puntos comprobados de nuevo repetía su resultado. Cada destino contaba una sola vez si tenía un clic equivalente, una zona inactiva que cubría al menos el 10% de su caja o un clic funcional fuera de ella.
- Comprobar los clics reales de los modelos
Mapear las diferencias entre las reglas no basta para mostrar que cambian las puntuaciones de los modelos, así que los investigadores ejecutaron predicciones de tres sistemas de anclaje potentes de 7–8B en los mismos elementos activos.
De los clics rechazados por la regla de las cajas, entre el 17.6% y el 20.5% alcanzó el resultado esperado en Gitea, y entre el 29.7% y el 38.1% lo hizo en Oscar. Son proporciones separadas por modelo con instrucciones de plantilla, no resultados conjuntos.
- Ampliar la auditoría a capturas de pantalla
La prueba estática ScreenSpot-v2 evalúa si un sistema puede localizar un destino de interfaz a partir de una instrucción y una captura de pantalla; su medida habitual de precisión es la proporción de puntos predichos que cae dentro de las cajas anotadas.
En una auditoría a ciegas de clics rechazados de 11 modelos, los investigadores hallaron equivalencias en el 6.4% de los 360 casos muestreados con una evaluación clara: el 14.4% en capturas web, frente a alrededor del 1% en móviles y equipos de escritorio.
Contabilizar las equivalencias estimadas elevó las puntuaciones de los modelos entre 0.2 y 1.8 puntos.
- Delimitar la corrección respaldada
La corrección tiene una magnitud similar a la de diferencias reportadas que son pequeñas: en 58 comparaciones de la literatura, codificadas para contrastar modelos propuestos con el modelo anterior más potente del mismo tamaño en la misma tabla, la diferencia absoluta mediana fue de 1.15 puntos.
Un estudio separado con tres semillas no halló una mejora estable frente a la recompensa por cajas cuando se entrenó un modelo 3B dando crédito a clics equivalentes. Por tanto, la evidencia respalda con mayor claridad una corrección de la puntuación que un beneficio para el entrenamiento.
Detalles
- Autores del paper original
- Xiaokang Yuan, Binhui Yao, Luwei Yang, Ruimin Chen, Zeng Wang
- Enviado a arXiv
- Licencia
- arXiv non-exclusive