Un proyector puede alinear visión y lenguaje sin leyendas de imagen
En palabras sencillas
Un modelo visión-lenguaje necesita un puente que convierta lo que detecta su lector de imágenes en características que su modelo de lenguaje pueda usar. Este artículo presenta PORTAL, una forma de construir ese puente midiendo los patrones en las características de cada modelo, sin leyendas de imagen pareadas ni entrenamiento del puente mediante actualizaciones de gradiente.
En las siete combinaciones de modelos probadas, las puntuaciones medias de PORTAL fueron cercanas a las de los puentes entrenados con leyendas pareadas. Dos combinaciones aún presentaron debilidades específicas en la lectura de texto y gráficos.
La investigación
La alineación del proyector es un primer paso estándar en el entrenamiento de modelos de lenguaje multimodales, pero los estudios no coinciden sobre si es necesaria ni cuántos datos pareados imagen-leyenda requiere.
¿Qué aporta realmente ese paso: vínculos detallados entre imágenes y leyendas, o una compatibilidad más básica entre las características de imagen y las de lenguaje?
PORTAL construye un proyector de visión a lenguaje a partir de estadísticas separadas de características, sin necesidad de leyendas pareadas ni optimización de alineación, y se mantiene cerca de las líneas base entrenadas en los modelos probados.
Los autores comprobaron si la alineación necesita un aprendizaje detallado imagen-leyenda reduciendo los datos pareados y combinando proyectores entrenados en distintos conjuntos de datos. La mayor parte de las mejoras apareció con una pequeña fracción de los datos, y las mezclas entre conjuntos de datos distintos siguieron siendo eficaces cuando los proyectores compartían una inicialización.
A continuación construyeron PORTAL a partir de estadísticas separadas de características. Tras un ajuste de instrucciones idéntico, su promedio se aproximó al del proyector entrenado en las siete combinaciones de modelos probadas, lo que respalda la alineación gruesa como explicación útil.
Estos hallazgos se refieren a codificadores de visión y lenguaje congelados, entradas de imagen única, y los diseños de proyector y combinaciones de modelos probados.
Los autores describen el condicionamiento geométrico grueso como la explicación más sencilla compatible con su evidencia, no como el único mecanismo posible.
Análisis
Detalles
- Autores del paper original
- Fabian Gröger, Naël Ouerghemi, Shuo Wen, Maria Brbić
- Enviado a arXiv
- Licencia
- arXiv non-exclusive