Дослідники розробили модель глибокого навчання, яка може декодувати скани фМРТ мозку у письмові описи того, що бачить людина, визначаючи ділянки мозку, відповідальні за розуміння візуального значення. Модель під назвою Brain2Text була навчена без будь-якої візуальної інформації та досягає найкращої продуктивності у створенні точних підписів до складних природних зображень.
Що показало дослідження
Під керівництвом Фейхань Фен і Цзінсінь Нє команда використала дані фМРТ учасників, які переглядали природні зображення, та навчила нейронну мережу виводити текстові описи. Модель створювала підписи, що передавали основний семантичний зміст, наприклад, "собака біжить по траві" або "група людей на пляжі". Важливо, що модель навчалася лише на парах фМРТ-текст, а не на реальних зображеннях, що змусило її вивчити зв'язок між нейронною активністю та значенням.
Нейроанатомічний аналіз показав, що вищі зорові зони, включаючи комплекс MT+ (обробка руху), вентральний потік зорової кори (розпізнавання об'єктів) та нижню тім'яну кору (просторова увага), відіграють ключову роль у візуальній семантичній обробці. Категорійно-специфічний аналіз виявив нюансовані нейронні уявлення для семантичних вимірів, таких як анімація (живе vs. неживе) та рух (статичне vs. рухоме), що свідчить про те, що мозок розподіляє ці ознаки по мережі ділянок.
Чому це важливо
Це дослідження поєднує штучний інтелект і нейронауку, пропонуючи інтерпретовану структуру для вивчення того, як мозок створює значення з візуального вводу. Для звичайної людини розуміння того, що різні ділянки мозку спеціалізуються на різних семантичних аспектах, може допомогти в когнітивних тренуваннях. Наприклад, завдання, що задіюють обробку руху (як перегляд спорту) або розпізнавання об'єктів (як сприйняття мистецтва), можуть зміцнювати відповідні нейронні мережі. Результати також мають перспективу для розробки інтерфейсів мозок-комп'ютер, які відновлять комунікацію для людей з паралічем або синдромом замкнутості.
Що ви можете зробити
Щоб покращити свою візуальну семантичну обробку, займайтеся діяльністю, яка змушує ваш мозок інтерпретувати сцени: детально описуйте картини, грайте в "Я шпигую" зі складними зображеннями або практикуйтеся підсумовувати побачене на фотографії одним реченням. Регулярні вправи на ментальну візуалізацію також можуть зміцнити задіяні нейронні шляхи.
Джерело: arXiv q-bio.NC
Цікавитесь власним мозком? Пройдіть наш безкоштовний адаптивний IQ-тест або спробуйте 306 рівнів тренування мозку.
