IT
Un modello multimodale congelato può ribilanciare segnali in conflitto
Omni-Woodpecker: Hallucination Correction via Evidence-Prior Rebalancing for Omni LLMs · arXiv:2610.27103
In parole semplici
I modelli linguistici audio-visivi rispondono alle domande usando parole, immagini e suoni. A volte un segnale prevale sugli altri: per esempio, il modello può rispondere basandosi su un’immagine anche quando la domanda chiede che cosa si sente.
Omni-Woodpecker controlla viste separate dello stesso input e poi modifica le informazioni interne di un modello congelato per proteggere le prove utili e ridurre l’influenza di un segnale concorrente prima della risposta.
In due test sulle allucinazioni audio-visive, ha migliorato l’accuratezza rispetto al modello senza modifiche in entrambi i modelli valutati.
La ricerca
Quando un modello audio-visivo risponde basandosi sul segnale sbagliato, le prove pertinenti sono assenti oppure un altro segnale ha sopraffatto prove già codificate dal modello? La distinzione conta perché una correzione che modifica solo la risposta finale può lasciare intatto il conflitto interno. Gli autori esaminano se ribilanciare la rappresentazione interna possa migliorare le risposte.
OWP confronta viste separate di un modello audio-visivo congelato e poi ne modifica la rappresentazione interna per proteggere le prove pertinenti alla domanda prima di rispondere.
OWP confronta le risposte di un modello congelato all’input completo e a viste separate di audio, video e testo per rilevare quando le prove necessarie sono in conflitto con la risposta.
Prima di rispondere, modifica quindi la rappresentazione interna, proteggendo le prove e riducendo la componente concorrente.
Su CMM, che valuta le allucinazioni cross-modali, e AVHBench, che valuta le allucinazioni audio-visive e include test di corrispondenza audio-visiva, OWP ha migliorato l’accuratezza nel formato originale rispetto al modello Qwen2.5-Omni-7B senza modifiche e al metodo MAD, che aggiusta le risposte usando segnali delle diverse modalità. Questi risultati sostengono l’approccio su quei test e con quel modello.
Questi risultati riguardano le allucinazioni cross-modali nei benchmark testati e in due modelli open-weight. OWP richiede accesso agli interni del modello e non può recuperare prove che il modello non ha percepito nella modalità pertinente.
Cosa mostrano le prove
- Quando i segnali competono
Omni-Woodpecker (OWP) è un metodo che non richiede addestramento e corregge le allucinazioni cross-modali nei modelli linguistici audio-visivi congelati. Gli autori descrivono il problema come un conflitto: il modello può codificare prove nella modalità a cui si riferisce la domanda e tuttavia rispondere in base a un’altra modalità o a un’aspettativa linguistica.
OWP affronta questa specifica spiegazione dell’allucinazione modificando le rappresentazioni interne prima che il modello produca una risposta.
- Individuare il conflitto
Per individuare un conflitto, OWP confronta l’input completo con viste che contengono la domanda insieme al solo audio, al solo video oppure al solo testo. CMM verifica casi in cui sono in conflitto segnali audio, visivi o linguistici; la sua accuratezza misura le risposte corrette secondo il formato del test.
AVHBench verifica le allucinazioni audio-visive e include anche domande sulla corrispondenza tra suono e video. Nei casi CMM coperti e nelle righe direzionali di AVHBench con registrazioni complete delle viste, OWP ha segnalato il 25.8% degli input, ha cambiato il 16.9% delle risposte e ha lasciato invariato il resto.
Il compito di corrispondenza è escluso da queste percentuali perché non ha un unico flusso di riferimento.
- Verificare il ruolo dei flussi
Una sonda binaria condivisa con risposte sì/no su Qwen2.5-Omni-7B distingue i ruoli dei flussi. Sulle stesse righe, usando solo il flusso di riferimento indicato dalle etichette del benchmark si è ottenuta un’accuratezza dell’84.28%, contro il 56.85% con il solo flusso in competizione; il modello con input completo ha raggiunto l’82.06%.
OWP ha modificato l’input completo e ha ottenuto l’84.91%. Il confronto sostiene l’idea che un flusso in competizione possa danneggiare una risposta anche quando le prove di riferimento sono utili; va però ricordato che OWP deduce quale flusso sia quello di riferimento, mentre i controlli con un solo flusso usano le etichette del benchmark.
- Misurare miglioramenti e distorsioni
Nei formati di risposta originali dei test, OWP ha ottenuto l’86.1% su CMM e l’83.7% su AVHBench con Qwen2.5-Omni-7B, superando il modello senza modifiche e MAD, che aggiusta le risposte usando segnali delle diverse modalità.
Un controllo ha spostato verso «No» il punteggio sì meno no del modello per uguagliare la percentuale di risposte «Sì» di OWP; così l’accuratezza è aumentata di 0.60 punti percentuali, contro il miglioramento di 2.85 punti ottenuto da OWP nella sonda condivisa.
Il controllo suggerisce che questo spostamento uniforme non spiega l’intero miglioramento. OWP ha migliorato l’accuratezza anche su VideoLLaMA2-AV, un altro modello valutato.
Dettagli
- Autori del paper originale
- Zijian Liu, Chaoyou Fu, Yan Yang, Caifeng Shan, Ran He
- Inviato ad arXiv
- Licenza
- arXiv non-exclusive