De petits adaptateurs améliorent les prédictions cérébrales des modèles testés

Les modèles préentraînés peuvent extraire des motifs riches d’entrées audiovisuelles, mais les méthodes d’encodage cérébral laissent souvent ces représentations inchangées et n’entraînent qu’un décodeur. Adapter entièrement un grand modèle est difficile lorsque les enregistrements neuronaux sont rares.

Un ajustement plus léger peut-il permettre aux données cérébrales de spécialiser les représentations du modèle pour prédire les réponses ?

BrainLoRA entraîne de petits adaptateurs et un décodeur tout en gardant inchangés les poids principaux d’un modèle préentraîné, afin que les données neuronales spécialisent ses représentations pour prédire les réponses cérébrales.

La question est de savoir si des enregistrements cérébraux rares peuvent spécialiser un grand modèle préentraîné pour prédire les réponses cérébrales. Garder tous les poids du modèle inchangés empêche cette adaptation, tandis que modifier tous les poids est difficile avec peu de données neuronales.

BrainLoRA examine si l’entraînement d’un petit adaptateur peut rendre les représentations du modèle plus utiles à la prédiction.

Sur neuf modèles multimodaux, chaque version adaptée a obtenu un score supérieur à celui de la condition correspondante où le socle était gelé, pour la sixième saison de Friends. Le score correspond à la corrélation de Pearson moyenne pour quatre personnes et mesure dans quelle mesure les réponses IRMf prédites suivent les enregistrements.

Pour Qwen3-Omni, il est passé de 0.2907 à 0.3263. Ces résultats étayent l’intérêt de l’adaptation dans les configurations testées.

Les expériences ont utilisé un seul benchmark, avec quatre personnes regardant un récit audiovisuel, et n’ont testé le transfert qu’au sein du domaine des films narratifs. Les résultats n’établissent pas les performances pour d’autres types de stimuli ou d’autres populations.