Представьте себе компьютер, читающий ваши мысли о картинке, которую вы только что увидели — не с помощью аппарата МРТ, а с помощью простой шапочки, покрытой электродами. Именно этого добились исследователи из нескольких китайских университетов и Кембриджского университета в новом исследовании. Их модель, названная MindAlign, может определить, какое из 200 изображений человек просматривает, только по сигналам ЭЭГ, с точностью 54,1% — что значительно выше предыдущего лучшего показателя в 32,4%.
Исследование
Команда под руководством Zexuan Chen и коллег создала ИИ из трех частей, который связывает записи ЭЭГ, изображения и текстовые описания в общем виртуальном пространстве. Сначала они обучили кодировщик ЭЭГ на немаркированных данных, чтобы он выучил общие паттерны мозга, а затем выровняли его с визуальными и текстовыми представлениями с помощью контрастивного обучения — по сути, обучая модель сопоставлять сигналы мозга с правильным изображением и его описанием. Модель использует инновационные компоненты, такие как адаптация к конкретному субъекту (индивидуально под каждого человека) и граф-внимание по каналам ЭЭГ. На тесте Things-EEG2 MindAlign достигла 83,4% точности top-5, то есть часто включала правильное изображение в пятерку лучших предположений. Они также протестировали модель на данных МЭГ, показав, что подход обобщается на разные методы записи мозга. Статистические тесты (парный критерий Уилкоксона, p < 0,01) подтвердили, что улучшения не случайны.
Почему это важно
Это исследование приближает нас к интерфейсам «мысль-текст» или «мысль-изображение», для которых не нужны дорогие и громоздкие аппараты МРТ. Шапочки для ЭЭГ портативны и относительно дешевы, что делает их доступными для повседневного использования — например, для помощи людям, которые не могут говорить, или для новых способов взаимодействия с компьютером. Результаты также согласуются с известными данными нейронауки: паттерны декодирования модели соответствуют ранним стадиям обработки зрительной информации, что говорит о том, что ИИ действительно изучает значимые нейронные сигнатуры, а не просто статистический шум.
Что вы можете сделать
Хотя пока вы не можете попробовать MindAlign дома, вы можете исследовать свою собственную скорость обработки визуальной информации с помощью бесплатного IQ-теста на iqgenio.com, который включает задания, проверяющие распознавание образов и зрительную память — навыки, которые, как показывает это исследование, тесно связаны с сигналами мозга.
Источник: arXiv q-bio.NC
Хотите узнать свой мозг? Пройдите наш бесплатный адаптивный IQ-тест или попробуйте 306 уровней тренировки мозга.
