Группа исследователей из Гонконгского университета обнаружила механистическое объяснение того, почему промежуточные слои больших языковых моделей (LLM) лучше всего предсказывают активность мозга при обработке языка. Применяя разреженные автокодировщики (SAE) к моделям GPT-2 XL и Llama-3.1-8B, они разложили эти модели на 16 000–32 000 интерпретируемых признаков на слой, выявив, что одни семантические признаки восстанавливают 94% пиковой производительности кодирования мозга.
Исследование
В работе Дунсинь Го, Цзикунь Ву и Сю Мин Ю, принятой на конференции CoNLL 2025, использовались SAE для объединения механистической интерпретируемости с моделями нейронного кодирования. Они создали валидированную человеком таксономию (κ ≥ 0,74), показывающую, что семантические признаки обеспечивают почти всю предсказательную силу, значительно превосходя базовые модели, выровненные по дисперсии (p < 0,001, d = 1,31). Критически важно, что они проверили новую гипотезу: пять семантических подкатегорий, полученных из трех независимых нейронаучных программ, должны соответствовать разным областям мозга. Формальный тест на сходимость подтвердил это соответствие (Spearman ρ = 0,72, p < 0,001; гипергеометрическое p = 0,007). Кроме того, признаки SAE предсказывали время чтения у людей помимо лексических контролей (ΔlogLik = 38,4, p < 0,001), и исследовательский анализ показал, что мозг кодирует неожиданное семантическое содержание. Результаты были обобщены на английский, китайский и французский языки.
Почему это важно
Эта работа — значительный шаг в понимании загадки соответствия мозга и языка. Для всех, кто интересуется когнитивными процессами, она предполагает, что мозг категоризирует смысл высокоорганизованным образом — семантическая топография, параллельная внутренним представлениям ИИ-языковых моделей. Это означает, что ваш мозг может использовать аналогичные «карты признаков» для обработки идей, что может помочь в будущих стратегиях тренировки мозга или обучения, ориентированных на семантическую организацию.
Что вы можете сделать
Чтобы использовать это открытие, попробуйте организовывать новую информацию в семантические категории во время учебы. Например, изучая новое понятие, мысленно помещайте его рядом со связанными идеями. Это поможет согласовать естественную семантическую топографию вашего мозга, потенциально улучшая кодирование и воспроизведение памяти.
Источник: arXiv q-bio.NC
Хотите узнать свой мозг? Пройдите наш бесплатный адаптивный IQ-тест или попробуйте 306 уровней тренировки мозга.
