Уявіть, що комп'ютер читає ваші думки про зображення, яке ви щойно побачили — не з апарату МРТ, а з простої шапочки, вкритої електродами. Саме цього досягло нове дослідження вчених з кількох китайських університетів та Кембриджського університету. Їхня модель, названа MindAlign, може визначити, яке з 200 зображень бачить людина, лише за сигналами ЕЕГ мозку, з точністю 54.1% — значно вище попереднього рекорду у 32.4%.
Дослідження
Команда під керівництвом Zexuan Chen та колег створила трикомпонентний ШІ, який об'єднує записи ЕЕГ, зображення та текстові описи у спільному віртуальному просторі. Спочатку вони навчили кодер ЕЕГ на немаркованих даних для вивчення загальних патернів мозку, а потім узгодили його з візуальними та текстовими представленнями за допомогою контрастного навчання — по суті, навчаючи модель узгоджувати мозкові сигнали з правильним зображенням та його описом. Модель використовує інноваційні компоненти, такі як адаптація до конкретного суб'єкта (налаштована на мозок кожної людини) та граф-увага на канали ЕЕГ. На еталонному тесті Things-EEG2 MindAlign досяг точності top-5 у 83.4%, тобто часто включав правильне зображення до п'яти найкращих варіантів. Вони також протестували на даних MEG, показавши, що підхід узагальнюється на різні методи запису мозку. Статистичні тести (парний тест Уілкоксона, p < 0.01) підтвердили, що покращення не є випадковими.
Чому це важливо
Це дослідження наближає нас до інтерфейсів «думка-в-текст» або «думка-в-зображення», які не потребують дорогих та громіздких апаратів МРТ. Шапочки ЕЕГ портативні та відносно дешеві, що робить їх доступними для щоденного використання — наприклад, для допомоги людям, які не можуть говорити, або для нових способів взаємодії з комп'ютерами. Результати також узгоджуються з відомою нейронаукою: патерни декодування моделі відповідають раннім стадіям візуальної обробки, що свідчить про те, що ШІ насправді вивчає значущі нейронні сигнатури, а не просто статистичний шум.
Що ви можете зробити
Хоча ви ще не можете випробувати MindAlign вдома, ви можете дослідити власну швидкість візуальної обробки за допомогою безкоштовного IQ-тесту на iqgenio.com, який включає завдання, що перевіряють розпізнавання образів та візуальну пам'ять — навички, які, як показує це дослідження, тісно пов'язані з мозковими сигналами.
Джерело: arXiv q-bio.NC
Цікавитесь власним мозком? Пройдіть наш безкоштовний адаптивний IQ-тест або спробуйте 306 рівнів тренування мозку.
