Un sistema aiuta gli agenti visivi a raccogliere e riutilizzare evidenze
In parole semplici
Per rispondere ad alcune domande sulle immagini non basta ciò che un modello riesce a capire guardando l’immagine. OpenVLHarness è un sistema che consente a un agente visivo di usare strumenti per trovare oggetti, cercare informazioni o calcolare misure, e di conservare i risultati per i passaggi successivi.
Su 22 dataset di attività visive, Qwen3-VL-8B ha ottenuto un punteggio medio più alto con il sistema che rispondendo direttamente senza strumenti. Questa media non significa che sia migliorato su ogni dataset.
La ricerca
Alcune domande sulle immagini dipendono da evidenze che un modello potrebbe non riuscire a ricavare in modo affidabile dall’input iniziale, come oggetti piccoli, informazioni poco familiari o misurazioni.
Un agente può raccogliere queste evidenze con gli strumenti e conservarle, così che i passaggi successivi possano esaminarle e combinarle?
OpenVLHarness offre agli agenti visivi un accesso coerente agli strumenti e una memoria multimodale riutilizzabile per raccogliere, esaminare e combinare evidenze tra i vari passaggi.
Gli autori hanno confrontato OpenVLHarness con le risposte dirette dello stesso modello Qwen3-VL-8B su 22 dataset. Il punteggio medio nelle attività è passato da 34.2 a 45.4, con un guadagno di 11.2 punti; i risultati di Qwen sono la media di tre esecuzioni.
Poiché modello di base e domande erano gli stessi, il confronto supporta un beneficio derivante dall’uso dell’harness e dei suoi strumenti su quell’insieme di dataset. È un risultato medio, non la prova che ogni attività sia migliorata.
I risultati riguardano i dataset e i modelli testati. I risultati di Qwen3-VL sono la media di tre esecuzioni, mentre quelli dei modelli proprietari derivano da una sola esecuzione; inoltre, per l’ablazione sulla memoria, i dataset più grandi sono stati ridotti a campioni con seme fisso.
Le diagnosi riguardano traiettorie non riuscite e non mostrano che le soluzioni proposte recupererebbero accuratezza.