ИИ-модели на основе ЭЭГ, которые якобы выявляют клинические состояния, на самом деле могут определять, кто вы, а не что делает ваш мозг. Новое исследование представляет «Ловушку идентичности» и набор инструментов для её обнаружения.
Исследование
Команда под руководством Джун-Ю Линь из Калифорнийского университета в Сан-Диего, включая Йинг Чун Ву и Цзы-Пин Юна, проверила три популярные базовые модели ЭЭГ: LaBraM, CBraMod и REVE. Они протестировали их на четырёх наборах данных, каждый из которых был организован по схеме 2x2 в зависимости от того, варьировалась ли метка (например, пациент vs контроль) внутри или между субъектами, и существовал ли известный межсубъектный маркер ЭЭГ.
Используя свой новый диагностический протокол FMScope, они обнаружили, что замороженные (необученные) представления моделей содержат в 13–89 раз больше дисперсии идентичности субъекта, чем ожидалось случайно — во всех 12 комбинациях модель-набор данных. Тонкая настройка ухудшила ситуацию, увеличив дисперсию идентичности на 10–63 процентных пункта. Когда они удалили ось идентичности субъекта, точность декодирования меток улучшилась там, где метка варьировалась внутри субъекта: на 6–12 процентных пунктов в первичных наборах данных и до 27 пунктов во внешних когортах.
Они также обнаружили, что апериодическая (1/f) активность мозга является одним из переносчиков идентичности субъекта: её удаление снизило точность определения субъекта на 9–19 пунктов на двух моделях. Однако REVE насытил идентичность субъекта, не полагаясь на апериодические сигналы.
Почему это важно
Для всех, кто интересуется диагностикой на основе ЭЭГ или тренировкой мозга, это означает, что высокие показатели точности клинических тестов могут вводить в заблуждение. Модели могут использовать shortcuts — полагаться на уникальную сигнатуру вашего мозга (как отпечаток пальца), а не на реальное состояние. Поэтому разделённая по субъектам кросс-валидация, хотя и распространена, недостаточна для того, чтобы модель действительно изучала биомаркеры.
Что вы можете сделать
Когда вы видите заявления о точности ИИ на основе ЭЭГ, спросите, проверяли ли исследователи утечку идентичности. Ищите исследования, использующие такие диагностические методы, как FMScope, для отделения идентичности субъекта от истинного сигнала. Для вашей собственной когнитивной тренировки помните, что уникальность вашего мозга — это особенность, но она не должна маскировать реальные изменения, которые вы хотите отслеживать.
Источник: arXiv q-bio.NC
Хотите узнать свой мозг? Пройдите наш бесплатный адаптивный IQ-тест или попробуйте 306 уровней тренировки мозга.
