Muchos errores evaluados sobre atributos de objetos muestran evidencia visual detectable
En palabras sencillas
Cuando un modelo de visión y lenguaje responde mal sobre una imagen, la respuesta por sí sola no permite saber si pasó por alto un detalle visual o si lo detectó pero no supo usarlo. Los autores presentan VELens, una sonda que busca en las señales visuales internas del modelo evidencia de un objeto y de sus atributos.
En preguntas sobre color, material y forma, sus estimaciones sugieren que la mayoría de los errores de los dos modelos evaluados ocurrieron aunque la sonda detectara esa evidencia. Las estimaciones son indirectas y solo abarcan esos modelos y esas preguntas.
La investigación
Cuando un modelo responde mal a una pregunta sobre una imagen, ¿podemos saber si le faltaba la información visual necesaria o si no supo usar la que tenía? La respuesta final por sí sola no distingue esas causas, aunque cada una apunta a una fuente distinta del fallo.
Los autores presentan VELens, una sonda que estima si las respuestas incorrectas sobre imágenes se deben a la falta de evidencia visual o a que el modelo no usó la evidencia que había representado.
Los autores presentan VELens, una sonda diseñada para averiguar si las respuestas incorrectas se deben a la falta de evidencia visual o a que el modelo codificó esa evidencia pero no la usó.
La sonda examina las representaciones internas en busca de evidencia tanto del objeto objetivo como de su atributo.
En casos de prueba separados sobre objetos y atributos, la sonda combinada distingue entre etiquetas que indican presencia y ausencia de evidencia. Su puntuación ROC-AUC mide qué tan bien hace esta distinción entre distintos umbrales de decisión: 0.95 para LLaVA y 0.91 para Qwen.
A partir de ella, los autores estiman que la mayoría de los errores evaluados ocurren pese a que se detecta evidencia, lo que sugiere que usar la información visual es un cuello de botella importante en este contexto.
Estas estimaciones dependen de una sonda que puede pasar por alto evidencia existente o detectar señales espurias, y los límites inferiores dependen del supuesto de predominio de la sonda planteado en el artículo.
Los resultados abarcan dos modelos y un conjunto limitado de preguntas sobre atributos de objetos, no preguntas visuales en general.
Análisis
Detalles
- Autores del paper original
- Anat Veikherman, Mor Ventura, Nitay Calderon, Lihi Zelnik-Manor, Roi Reichart
- Enviado a arXiv
- Licencia
- CC BY 4.0