IT
I modelli visivi più piccoli possono superare quelli più grandi in compiti specifici
On the Limits of Scale: Inverse Scaling in Vision-Language Models · arXiv:2610.27360
In parole semplici
Questo articolo si chiede se un modello visione-linguaggio più grande possa andare peggio di uno più piccolo in un certo tipo di domanda sulle immagini, anche se i punteggi generali dei test nascondono la differenza. Gli autori confrontano modelli delle stesse famiglie sulle stesse domande e verificano quale dei due abbia ragione quando le risposte non coincidono.
Trovano molte categorie in cui il modello più piccolo ha un vantaggio netto, ma lo studio non dimostra che la causa sia la dimensione.
La ricerca
Quando un modello visione-linguaggio migliora nel complesso, può comunque diventare meno accurato in un particolare tipo di ragionamento visivo?
I punteggi aggregati combinano categorie diverse. Perciò possono nascondere le domande a cui il modello più piccolo risponde correttamente e quello più grande no.
Lo studio confronta modelli più piccoli e più grandi sulle stesse domande per individuare cali in categorie specifiche che i punteggi generali dei test potrebbero nascondere.
Per cercare cali in categorie specifiche nei test abituali, gli autori confrontano modelli appartenenti alle stesse quattro famiglie open-weight sulle stesse domande. Per ogni categoria del test, contano i disaccordi a favore del modello più piccolo e sottraggono quelli a favore del più grande. Un saldo positivo indica un vantaggio tra i disaccordi, non in tutte le domande.
Trovano 375 casi idonei, ciascuno relativo a una categoria e a una coppia di modelli, su 10.434 confronti idonei. BLINK verifica la percezione visiva su più immagini; nella categoria Jigsaw, Qwen3-VL 4B ha ottenuto un’accuratezza superiore di 24 punti percentuali rispetto a Qwen3-VL 30B-A3B sulle stesse 150 domande. L’esempio mostra come i punteggi generali possano nascondere cali limitati a singole categorie.
Poiché si tratta di un confronto osservazionale tra varianti di modelli rilasciate, che possono differire per più aspetti oltre alla dimensione, lo studio non può dimostrare che il numero di parametri abbia causato i cali. Inoltre, analizza soltanto modelli open-weight, cioè con pesi accessibili.
Cosa mostrano le prove
- Un calo nascosto in una categoria
Questo studio osservazionale sistematico esamina l’inverse scaling a livello di sottoattività nei modelli visione-linguaggio, che rispondono a domande usando immagini e testo. La domanda è se un modello più grande possa essere meno accurato in una specifica categoria, anche quando il punteggio complessivo potrebbe nascondere il calo.
Gli autori cercano il fenomeno nei normali test multimodali, senza aggiungere distrazioni artificiali.
- Confronto sulle stesse domande
Per esaminare le differenze tra le risposte, gli autori confrontano modelli appartenenti alle stesse quattro famiglie open-weight sulle stesse domande del test. Per ogni domanda contano i disaccordi a favore del modello più piccolo e sottraggono quelli a favore del più grande.
Un saldo positivo indica che il modello più piccolo risponde correttamente più spesso tra i disaccordi, non che vada meglio in ogni domanda.
- Il risultato nella categoria Jigsaw
Gli autori riportano 375 casi idonei, ciascuno relativo a una categoria e a una coppia di modelli, su 10.434 confronti idonei. Per esempio, BLINK verifica la percezione visiva su più immagini; nella categoria Jigsaw, Qwen3-VL 4B ha ottenuto un’accuratezza superiore di 24 punti percentuali rispetto a Qwen3-VL 30B-A3B sulle stesse 150 domande. È un esempio circoscritto, non un risultato valido per ogni categoria o modello.
- Ricorrenza tra famiglie
Il fenomeno ricorre anche in più famiglie: 13 coppie di categorie mostrano casi idonei in almeno tre delle quattro famiglie. Ripetendo l’analisi senza i modelli mixture-of-experts, gli autori trovano ancora 193 casi e otto coppie di categorie ricorrenti in almeno tre famiglie.
Questi confronti mostrano che i modelli mixture-of-experts non sono necessari perché il fenomeno emerga, ma non ne spiegano la causa.
Dettagli
- Autori del paper originale
- Rohit Saxena, Alessandro Suglia, Marek Rei, Pasquale Minervini
- Inviato ad arXiv
- Licenza
- CC BY 4.0