ES
Un modelo multimodal congelado puede reequilibrar señales en conflicto
Omni-Woodpecker: Hallucination Correction via Evidence-Prior Rebalancing for Omni LLMs · arXiv:2610.27103
En palabras sencillas
Los modelos de lenguaje audiovisual responden preguntas usando palabras, imágenes y sonidos. A veces una señal se impone a otra: por ejemplo, el modelo puede responder basándose en una imagen cuando la pregunta es sobre lo que se oye.
Omni-Woodpecker compara versiones separadas de la misma entrada y luego modifica la información interna de un modelo congelado para proteger la evidencia útil y reducir la señal en conflicto antes de responder. En dos pruebas de alucinaciones audiovisuales, mejoró la precisión de las respuestas frente al modelo sin modificar en los dos modelos evaluados.
La investigación
Cuando un modelo audiovisual responde basándose en la señal equivocada, ¿falta la evidencia pertinente o se impone otra señal a la evidencia que el modelo ya había codificado? La distinción importa porque una corrección que solo cambia la respuesta final puede dejar intacto el conflicto interno. Los autores estudian si reequilibrar esa representación interna puede mejorar las respuestas.
OWP compara versiones separadas de la entrada de un modelo audiovisual congelado y modifica su representación interna para proteger la evidencia pertinente a la pregunta antes de responder.
OWP compara las respuestas de un modelo congelado a la entrada completa y a versiones separadas de audio, video y texto para detectar cuándo la evidencia necesaria entra en conflicto con la respuesta.
Luego modifica la representación interna antes de responder, protegiendo la evidencia y reduciendo el componente en conflicto.
En CMM y AVHBench, pruebas de alucinaciones entre modalidades y correspondencia audiovisual, OWP mejoró la precisión con los formatos propios de cada prueba frente al modelo Qwen2.5-Omni-7B sin modificar y al método MAD, que ajusta las respuestas mediante señales de las modalidades. Esto respalda el enfoque en esas pruebas y con ese modelo.
Estos resultados abarcan alucinaciones entre modalidades en los benchmarks evaluados y dos modelos de pesos abiertos. OWP necesita acceso al interior del modelo y no puede recuperar evidencia que el modelo no haya percibido en la modalidad pertinente.
Qué muestran las pruebas
- Cuando las señales compiten
Omni-Woodpecker (OWP) es un método que no requiere entrenamiento y corrige alucinaciones entre modalidades en modelos de lenguaje audiovisual congelados. Los autores plantean el problema como un conflicto: el modelo puede codificar evidencia en la modalidad por la que pregunta el usuario y, aun así, responder según otra modalidad o una expectativa basada en el lenguaje.
OWP aborda este tipo concreto de alucinación modificando las representaciones internas antes de que el modelo genere una respuesta.
- Cómo encuentra el conflicto
Para localizar un conflicto, OWP compara la entrada completa con versiones que contienen la pregunta y solo el audio, solo el video o solo el texto. CMM evalúa casos en que entran en conflicto señales de audio, visuales o lingüísticas; su precisión mide las respuestas correctas según el formato de la prueba.
AVHBench evalúa alucinaciones audiovisuales e incluye preguntas sobre si el sonido y el video coinciden. En los casos de CMM incluidos y en las entradas direccionales de AVHBench con registros completos, OWP señaló el 25.8% de las entradas, cambió el 16.9% de las respuestas y dejó intactas las demás. La tarea de correspondencia se excluye de esos porcentajes porque no tiene un único canal objetivo.
- Prueba de los dos canales
Una prueba binaria compartida de sí o no en Qwen2.5-Omni-7B permite distinguir las funciones de los canales. En las mismas entradas, usar solo el canal objetivo indicado por las etiquetas del benchmark dio una precisión del 84.28%, mientras que usar solo el canal en conflicto dio un 56.85%; el modelo con la entrada completa obtuvo un 82.06%.
OWP modificó la entrada completa y obtuvo un 84.91%. Esta comparación respalda la idea de que un canal en conflicto puede perjudicar una respuesta aunque la evidencia objetivo sea útil; también muestra que OWP infiere cuál es el canal objetivo, mientras que los controles con un solo canal usan las etiquetas del benchmark.
- Medición de mejoras y sesgo
Con los formatos de respuesta propios de las pruebas, OWP obtuvo un 86.1% en CMM y un 83.7% en AVHBench con Qwen2.5-Omni-7B, superando al modelo sin modificar y a MAD, que ajusta las respuestas mediante señales de las modalidades.
En un control, se desplazó la puntuación de sí menos no del modelo hacia «No» para igualar la tasa de respuestas «Sí» de OWP; esto elevó la precisión 0.60 puntos porcentuales, frente a la mejora de 2.85 puntos de OWP en la prueba compartida.
El control sugiere que ese desplazamiento uniforme no explica toda la mejora. OWP también mejoró la precisión en VideoLLaMA2-AV, el otro modelo evaluado.
Detalles
- Autores del paper original
- Zijian Liu, Chaoyou Fu, Yan Yang, Caifeng Shan, Ran He
- Enviado a arXiv
- Licencia
- arXiv non-exclusive