Команда дослідників з Гонконзького університету знайшла механістичне пояснення, чому проміжні шари великих мовних моделей (LLM) найкраще передбачають активність мозку під час обробки мови. Застосувавши розріджені автокодувальники (SAE) до GPT-2 XL та Llama-3.1-8B, вони розклали ці моделі на 16 000–32 000 інтерпретованих ознак на шар, виявивши, що лише семантичні ознаки відновлюють 94% пікової продуктивності кодування мозку.
Дослідження
У дослідженні Дунсінь Го, Цзікунь Ву та Сю Мін Ю, прийнятому на CoNLL 2025, використовувалися SAE для поєднання механістичної інтерпретованості з нейронними моделями кодування. Вони створили людську валідовану таксономію (κ ≥ 0.74), яка показує, що семантичні ознаки відповідають майже за всю прогностичну здатність, значно перевищуючи базові рівні, узгоджені за дисперсією (p < 0.001, d = 1.31). Критично важливо, що вони перевірили нове передбачення: п'ять семантичних підкатегорій, отриманих з трьох незалежних нейронаукових програм, повинні відображатися на окремих ділянках мозку. Формальний тест конвергенції підтвердив цю відповідність (Spearman ρ = 0.72, p < 0.001; гіпергеометричний p = 0.007). Крім того, ознаки SAE передбачали час читання людини, перевищуючи лексичні контролі (ΔlogLik = 38.4, p < 0.001), а попередній аналіз свідчить, що мозок кодує несподіваний семантичний вміст. Результати узагальнилися для англійської, китайської та французької мов.
Чому це важливо
Ця робота є значним кроком у розумінні загадки відповідності мозку та мови. Для тих, хто цікавиться когнітивістикою, це свідчить, що мозок категоризує значення високоорганізованим способом — семантичною топографією, яка паралельна внутрішнім представленням мовних моделей ШІ. Це означає, що ваш мозок може використовувати подібні «карти ознак» для обробки ідей, що може допомогти в майбутніх стратегіях тренування мозку або навчання, орієнтованих на семантичну організацію.
Що ви можете зробити
Щоб скористатися цим відкриттям, спробуйте організовувати нову інформацію в семантичні категорії під час навчання. Наприклад, коли вивчаєте нове поняття, подумки розміщуйте його поряд із пов'язаними ідеями. Це допомагає узгодити природну семантичну топографію мозку, потенційно покращуючи кодування та відтворення пам'яті.
Джерело: arXiv q-bio.NC
Цікавитесь власним мозком? Пройдіть наш безкоштовний адаптивний IQ-тест або спробуйте 306 рівнів тренування мозку.
