Une nouvelle étude de chercheurs de l'IIIT Hyderabad, Microsoft et d'autres institutions révèle que les grands modèles de langage multimodaux ajustés par instructions (IT-MLLM) montrent un alignement plus fort avec l'activité cérébrale humaine que d'autres modèles d'IA. L'étude, déposée sur arXiv le 9 juin 2025, utilise des données d'IRMf de personnes regardant un film naturaliste pour comparer la façon dont différents systèmes d'IA représentent l'information.
La recherche
L'équipe, dirigée par Subba Reddy Oota et ses collègues, a analysé les réponses cérébrales de participants regardant un film avec à la fois vidéo et audio. Ils ont extrait des représentations de six modèles IT-MLLM vidéo et deux audio à travers 13 instructions de tâches vidéo différentes. Ils ont ensuite prédit l'activité IRMf à partir de ces représentations d'IA. Les résultats ont montré que les MLLM vidéo ajustés par instructions atteignent un alignement cérébral environ 9 % plus élevé que les modèles multimodaux à apprentissage contextuel (ICL), 15 % plus élevé que les modèles multimodaux non ajustés par instructions, et 20 % plus élevé que les modèles unimodaux de référence. Fait important, les modèles ICL ont montré une forte organisation sémantique (corrélation r=0,78 avec le texte d'instruction), tandis que les modèles IT ont montré un faible couplage (r=0,14), indiquant que les modèles IT organisent les représentations autour des exigences fonctionnelles des tâches plutôt que de la sémantique de surface. L'alignement cérébral variait selon les régions corticales, avec des sous-espaces conditionnés par la tâche émergeant dans les zones d'ordre supérieur.
Pourquoi c'est important
Cette recherche suggère que l'ajustement par instructions aide l'IA à développer des représentations plus similaires à la façon dont le cerveau traite les stimuli naturalistes. Pour les sciences cognitives, cela offre un nouvel outil pour cartographier le traitement conjoint de l'information dans les systèmes artificiels et biologiques. Pour la personne moyenne, cela souligne que le contexte et les objectifs de la tâche façonnent la façon dont l'information est encodée dans le cerveau — un rappel qu'un engagement actif et orienté vers un objectif peut améliorer l'apprentissage et la mémoire.
Ce que vous pouvez faire
Pour tirer parti de cette découverte, pratiquez l'apprentissage actif : fixez des objectifs spécifiques avant de regarder une vidéo ou de lire. Cela prépare votre cerveau à organiser l'information plus efficacement, similaire à la façon dont l'ajustement par instructions fonctionne dans l'IA.
Source : arXiv q-bio.NC
Curieux de votre propre cerveau ? Passez notre test de QI adaptatif gratuit ou essayez 306 niveaux d'entraînement cérébral.
