Новое исследование учёных из IIIT Hyderabad, Microsoft и других институтов показывает, что мультимодальные большие языковые модели с настройкой по инструкциям (IT-MLLM) сильнее согласуются с активностью человеческого мозга, чем другие модели ИИ. Исследование, опубликованное на arXiv 9 июня 2025 года, использует данные фМРТ людей, смотрящих естественное видео, чтобы сравнить, как разные системы ИИ представляют информацию.
Исследование
Команда под руководством Суббы Редди Ооты и коллег анализировала мозговые реакции участников, смотревших фильм с видео и аудио. Они извлекли репрезентации из шести видео- и двух аудио-IT-MLLM с 13 различными видеоинструкциями. Затем они предсказывали активность фМРТ по этим репрезентациям ИИ. Результаты показали, что настроенные по инструкциям видео MLLM достигают примерно на 9% более высокого согласования с мозгом, чем мультимодальные модели с контекстным обучением (ICL), на 15% выше, чем ненастроенные мультимодальные модели, и на 20% выше, чем одномодальные базовые модели. Важно отметить, что модели ICL показали сильную семантическую организацию (корреляция r=0,78 с текстом инструкции), в то время как IT-модели показали слабую связь (r=0,14), что указывает на то, что IT-модели организуют репрезентации вокруг функциональных требований задачи, а не поверхностной семантики. Согласование с мозгом различалось в зависимости от кортикальных областей, причём в областях высшего порядка возникали подпространства, обусловленные задачей.
Почему это важно
Это исследование предполагает, что настройка по инструкциям помогает ИИ развивать репрезентации, более похожие на то, как мозг обрабатывает естественные стимулы. Для когнитивной науки это даёт новый инструмент для картирования совместной обработки информации в искусственных и биологических системах. Для обычного человека это подчёркивает, что контекст и цели задачи формируют то, как информация кодируется в мозге — напоминание о том, что активное, целенаправленное взаимодействие может улучшить обучение и память.
Что вы можете сделать
Чтобы использовать это открытие, практикуйте активное обучение: ставьте конкретные цели перед просмотром видео или чтением. Это настраивает ваш мозг на более эффективную организацию информации, подобно тому, как работает настройка по инструкциям в ИИ.
Источник: arXiv q-bio.NC
Интересует ваш собственный мозг? Пройдите наш бесплатный адаптивный IQ-тест или попробуйте 306 уровней тренировки мозга.
