Исследователи разработали модель глубокого обучения, которая может декодировать данные фМРТ мозга в письменные описания того, что видит человек, определяя области мозга, ответственные за понимание визуального смысла. Модель, названная Brain2Text, была обучена без какой-либо визуальной информации и достигает современной производительности в создании точных подписей для сложных естественных изображений.
Что показало исследование
Под руководством Фэйхань Фэн и Цзинсинь Не команда использовала данные фМРТ участников, просматривавших естественные изображения, и обучила нейронную сеть выводить текстовые описания. Модель создавала подписи, которые улавливали основное семантическое содержание, например, «собака, бегущая по траве» или «группа людей на пляже». Важно, что модель обучалась только на парах фМРТ-текст, а не на самих изображениях, что заставляло ее изучать связь между нейронной активностью и смыслом.
Нейроанатомический анализ показал, что высшие зрительные области — включая комплекс MT+ (обработка движения), вентральный поток зрительной коры (распознавание объектов) и нижнюю теменную кору (пространственное внимание) — играют критическую роль в визуальной семантической обработке. Категориально-специфический анализ выявил нюансные нейронные представления для семантических измерений, таких как одушевленность (живое vs. неживое) и движение (статичное vs. движущееся), что предполагает распределение этих признаков по сети областей мозга.
Почему это важно
Это исследование соединяет ИИ и нейронауку, предоставляя интерпретируемую основу для изучения того, как мозг конструирует смысл из визуального ввода. Для обычного человека понимание того, что разные области мозга специализируются на разных семантических аспектах, может помочь в когнитивных тренировках. Например, задачи, задействующие обработку движения (например, просмотр спорта) или распознавание объектов (например, художественная оценка), могут укреплять соответствующие нейронные сети. Результаты также обещают создание интерфейсов мозг-компьютер для восстановления общения у людей с параличом или синдромом запертого человека.
Что вы можете сделать
Чтобы улучшить свою визуальную семантическую обработку, занимайтесь деятельностью, которая заставляет ваш мозг интерпретировать сцены: подробно описывайте картины, играйте в «Я вижу» со сложными изображениями или практикуйтесь в обобщении того, что вы видите на фотографии, одним предложением. Регулярные упражнения по умственной визуализации также могут укрепить задействованные нейронные пути.
Источник: arXiv q-bio.NC
Хотите узнать свой мозг? Пройдите наш бесплатный адаптивный IQ-тест или попробуйте 306 уровней тренировки мозга.
