Модели ИИ с миллиардами параметров, обученные на сканах мозга, не могут предсказать, насколько хорошо вы мыслите, а простая статистическая мера справляется с этим — и без GPU или предварительного обучения. Таков вывод нового исследования, которое обнаружило фундаментальное слепое пятно в современных моделях мозга.
Исследование
Джованни Марраффини и коллеги из Французского национального института исследований в области цифровых наук и технологий (Inria) протестировали три современные фундаментальные модели мозга (BFM) — большие системы ИИ, предварительно обученные на данных фМРТ тысяч людей. Они оценили, насколько хорошо каждая модель может предсказывать индивидуальные когнитивные показатели, используя стандартные когнитивные тесты из крупных открытых наборов данных, таких как Human Connectome Project.
Результат оказался ошеломляющим: каждая BFM предсказывала когнитивные способности хуже, чем простая линейная регрессия с использованием матрицы функциональной связности (FC) — матрицы из примерно 80 000 чисел, описывающих парные корреляции между областями мозга. Более того, более крупные модели работали хуже: версия BrainLM с 650 миллионами параметров уступала версии с 111 миллионами параметров.
Команда проследила проблему до так называемой проблемы распределения дисперсии. BFM обучаются восстанавливать сигнал фМРТ с максимальной точностью, что заставляет их фокусироваться на крупнейших, наиболее доминирующих компонентах дисперсии — но они в значительной степени являются шумом для когнитивных способностей. Критически важно, что модели разрушают ко-скошенность третьего порядка — статистическую меру, которая захватывает асимметричные, негауссовы отношения между областями мозга, которая оказывается гораздо более предсказательной для когнитивных способностей, чем обычные корреляции.
Чтобы восстановить то, что теряют BFM, исследователи разработали простой линейный конвейер: спроецировать сигнал фМРТ в подпространство, которое наилучшим образом сохраняет ко-скошенность, затем вычислить FC в этом подпространстве. Этот метод — не требующий GPU и предварительного обучения — превзошёл сырую FC и каждую BFM на всех проверенных наборах данных и разбиениях мозга. Он даже достиг предельной производительности прямого прохода BrainLM после целевой тонкой настройки.
Почему это важно
Этот результат имеет глубокие последствия для того, как мы понимаем и измеряем интеллект. Наиболее когнитивно значимые сигналы мозга могут быть не самыми сильными или очевидными — они являются тонкими паттернами высшего порядка, которые обычные модели ИИ игнорируют. Для всех, кто интересуется собственными когнитивными способностями, это говорит о том, что простые, хорошо подобранные меры могут быть более информативными, чем сложные алгоритмы "чёрного ящика".
Важно, что исследование показывает, что узким местом в современном ИИ мозга является не архитектура или размер модели, а сама цель предварительного обучения. Сместив фокус на статистику третьего порядка, будущие модели могут стать одновременно проще и точнее.
Что вы можете сделать
Хотя вы не можете извлечь ко-скошенность из своего мозга дома, вы можете оценить, что когнитивные способности возникают из сложных нелинейных взаимодействий. Занятия, бросающие вызов вашему мозгу — например, головоломки, изучение новых навыков или когнитивные тренировки — могут укрепить эти тонкие связи. И когда вы слышите заявления о том, что ИИ предсказывает интеллект, помните, что иногда меньше значит больше: правильная простая мера может превзойти модель с миллиардом параметров.
Источник: arXiv q-bio.NC
Интересует ваш собственный мозг? Пройдите наш бесплатный адаптивный IQ-тест или попробуйте 306 уровней тренировки мозга.
