Des chercheurs ont développé un modèle d'apprentissage profond capable de décoder les scans d'IRMf en descriptions écrites de ce qu'une personne voit, identifiant les régions cérébrales responsables de la compréhension du sens visuel. Le modèle, appelé Brain2Text, a été entraîné sans aucune information visuelle et atteint des performances de pointe pour générer des légendes précises d'images naturelles complexes.
Ce que l'étude a révélé
Dirigée par Feihan Feng et Jingxin Nie, l'équipe a utilisé des données d'IRMf de participants regardant des images naturelles et a entraîné un réseau neuronal à produire des descriptions textuelles. Le modèle a généré des légendes capturant le contenu sémantique essentiel, comme « un chien courant sur l'herbe » ou « un groupe de personnes à la plage ». Fait important, le modèle a été entraîné uniquement sur des paires IRMf-texte, et non sur des images réelles, ce qui l'a obligé à apprendre la relation entre l'activité neuronale et le sens.
L'analyse neuroanatomique a révélé que les zones visuelles de haut niveau – notamment le complexe MT+ (traitement du mouvement), le cortex visuel de la voie ventrale (reconnaissance des objets) et le cortex pariétal inférieur (attention spatiale) – jouent des rôles cruciaux dans le traitement sémantique visuel. L'analyse spécifique aux catégories a montré des représentations neuronales nuancées pour des dimensions sémantiques comme l'animité (vivant vs non-vivant) et le mouvement (statique vs en mouvement), suggérant que le cerveau distribue ces caractéristiques à travers un réseau de régions.
Pourquoi c'est important
Cette recherche fait le pont entre l'IA et les neurosciences en fournissant un cadre interprétable pour sonder comment le cerveau construit le sens à partir des entrées visuelles. Pour la personne moyenne, comprendre que différentes régions cérébrales se spécialisent dans différents aspects sémantiques peut éclairer des stratégies d'entraînement cognitif. Par exemple, les tâches qui sollicitent le traitement du mouvement (comme regarder du sport) ou la reconnaissance d'objets (comme l'appréciation artistique) peuvent renforcer les réseaux neuronaux correspondants. Les résultats sont également prometteurs pour développer des interfaces cerveau-ordinateur qui restaurent la communication chez les personnes paralysées ou atteintes du syndrome d'enfermement.
Ce que vous pouvez faire
Pour améliorer votre traitement sémantique visuel, engagez-vous dans des activités qui défient votre cerveau à interpréter des scènes : décrivez des peintures en détail, jouez à « Je vois » avec des images complexes, ou entraînez-vous à résumer ce que vous voyez dans une photo en une phrase. Des exercices de visualisation mentale réguliers peuvent également renforcer les voies neuronales impliquées.
Source : arXiv q-bio.NC
Curieux d'en savoir plus sur votre propre cerveau ? Passez notre test de QI adaptatif gratuit ou essayez 306 niveaux d'entraînement cérébral.
