FR
Un modèle multimodal figé peut rééquilibrer des indices contradictoires
Omni-Woodpecker: Hallucination Correction via Evidence-Prior Rebalancing for Omni LLMs · arXiv:2610.27103
En termes simples
Les modèles de langage audio-visuels répondent aux questions en utilisant des mots, des images et des sons. Parfois, un indice prend le dessus sur un autre : le modèle peut répondre d’après l’image alors que la question porte sur ce qu’on entend.
Omni-Woodpecker compare différentes vues d’une même entrée, puis modifie les informations internes d’un modèle figé pour préserver les éléments utiles et atténuer l’indice concurrent avant la réponse. Sur deux tests d’hallucinations audio-visuelles, la méthode a amélioré la précision par rapport au modèle sans modification pour chacun des deux modèles évalués.
La recherche
Quand un modèle audio-visuel répond à partir du mauvais indice, les éléments pertinents lui manquent-ils, ou un autre indice a-t-il éclipsé des éléments qu’il avait déjà encodés ? Cette distinction compte, car une correction qui ne modifie que la réponse finale peut laisser intact le conflit interne.
Les auteurs étudient si le rééquilibrage de cette représentation interne peut améliorer les réponses.
OWP compare différentes vues d’un modèle audio-visuel figé, puis modifie ses représentations internes pour préserver les éléments pertinents à la question avant la réponse.
OWP compare les réponses d’un modèle figé à l’entrée complète et à des vues séparées de l’audio, de la vidéo et du texte pour repérer les cas où les éléments nécessaires contredisent la réponse.
Elle modifie ensuite la représentation interne avant la réponse, afin de préserver les éléments pertinents et de réduire la composante concurrente.
Sur CMM et AVHBench, qui évaluent les hallucinations intermodales et la correspondance audio-visuelle, OWP a amélioré la précision dans les formats natifs des tests par rapport au modèle Qwen2.5-Omni-7B sans modification et à MAD, une méthode qui ajuste les réponses à partir d’indices liés aux modalités. Ces résultats étayent l’approche sur ces tests et avec ce modèle.
Ces résultats portent sur les hallucinations intermodales observées dans les benchmarks testés et avec deux modèles à poids ouverts. OWP nécessite un accès aux mécanismes internes du modèle et ne peut pas rétablir des éléments que celui-ci n’a pas réussi à percevoir dans la modalité concernée.
Ce que montrent les preuves
- Quand les indices s’opposent
Omni-Woodpecker (OWP) est une méthode sans entraînement supplémentaire qui corrige les hallucinations intermodales dans des modèles de langage audio-visuels figés. Les auteurs décrivent le problème comme un conflit : le modèle peut encoder des éléments utiles dans la modalité visée par la question, mais répondre selon une autre modalité ou une attente fondée sur le langage.
OWP s’attaque à cette forme précise d’hallucination en modifiant les représentations internes avant que le modèle ne produise sa réponse.
- Repérer le conflit
Pour repérer un conflit, OWP compare l’entrée complète à des vues qui contiennent la question avec seulement l’audio, seulement la vidéo ou le texte seul. CMM teste les cas où des indices audio, visuels ou linguistiques sont en conflit ; sa précision mesure les réponses correctes selon le format du test.
AVHBench évalue les hallucinations audio-visuelles et comprend aussi des questions visant à déterminer si le son et la vidéo correspondent. Dans les cas CMM couverts et les exemples directionnels d’AVHBench ayant des enregistrements complets des vues, OWP a signalé 25,8 % des entrées, modifié 16,9 % des réponses et laissé les autres inchangées. La tâche de correspondance est exclue de ces taux, car elle ne comporte pas de flux cible unique.
- Évaluer le rôle des deux flux
Une tâche-sonde binaire oui/non commune, menée avec Qwen2.5-Omni-7B, permet de distinguer les rôles des flux. Pour les mêmes cas, le seul flux cible indiqué par les étiquettes du benchmark a obtenu une précision de 84,28 %, contre 56,85 % pour le seul flux concurrent ; le modèle recevant l’entrée complète a obtenu 82,06 %.
Après modification de l’entrée complète, OWP a obtenu 84,91 %. Cette comparaison étaye l’idée qu’un flux concurrent peut nuire à une réponse alors même que les éléments pertinents sont disponibles.
Les contrôles utilisant un seul flux s’appuient sur les étiquettes du benchmark, tandis qu’OWP déduit quel flux cible protéger.
- Mesurer les gains et le biais
Selon les formats de réponse propres aux tests, OWP a obtenu avec Qwen2.5-Omni-7B une précision de 86,1 % sur CMM et de 83,7 % sur AVHBench, dépassant le modèle sans modification et MAD, qui ajuste les réponses à partir d’indices liés aux modalités. Un contrôle a décalé le score du modèle en faveur de « non » pour égaler le taux de réponses « oui » d’OWP ; la précision a alors augmenté de 0,60 point de pourcentage, contre un gain de 2,85 points pour OWP dans la tâche-sonde commune.
Ce contrôle suggère que le décalage uniforme testé n’explique pas la totalité du gain. OWP a également amélioré la précision sur VideoLLaMA2-AV, l’autre modèle évalué.
Détails
- Auteurs de l’article original
- Zijian Liu, Chaoyou Fu, Yan Yang, Caifeng Shan, Ran He
- Soumis à arXiv
- Licence
- arXiv non-exclusive