Un projector può allineare visione e linguaggio senza didascalie

L'allineamento tramite projector è un primo passo standard nell'addestramento di modelli linguistici multimodali, eppure gli studi non concordano su se sia necessario e su quanti dati abbinati immagine-didascalia richieda.

Cosa contribuisce effettivamente quel passaggio: legami dettagliati tra immagini e didascalie, o una compatibilità più elementare tra le feature visive e linguistiche?

PORTAL costruisce un projector da visione a linguaggio a partire da statistiche separate delle feature, evitando didascalie abbinate e ottimizzazione dell'allineamento, rimanendo vicino alle baseline addestrate nei modelli testati.

Gli autori hanno verificato se l'allineamento richieda un apprendimento dettagliato di coppie immagine-didascalia, riducendo i dati abbinati e mescolando projector addestrati su dataset diversi.

La maggior parte dei guadagni è emersa con una piccola frazione di dati e i blend tra dataset diversi sono rimasti efficaci quando i projector condividevano la stessa inizializzazione.

Hanno quindi costruito PORTAL a partire da statistiche separate delle feature. Dopo un instruction tuning identico, ha ottenuto una media vicina a quella del projector addestrato su sette combinazioni di modelli testate, supportando l'allineamento grossolano come spiegazione utile.

Questi risultati riguardano backbone visivi e linguistici congelati, input a singola immagine e i progetti di projector e le combinazioni di modelli testati.

Gli autori descrivono il condizionamento geometrico grossolano come la spiegazione più semplice coerente con le loro evidenze, non come l'unico meccanismo possibile.