Що, якщо мозку не потрібен спеціалізований граматичний модуль? Нове дослідження з Університету Ерлангена-Нюрнберга показує, що класи слів, такі як іменники, дієслова та прикметники, можуть виникати виключно з навчання передбачати, що станеться далі в мові.
Дослідження
Mathis Immertreu та колеги навчили глибоку залишкову нейронну мережу на WikiText-103 (103 мільйони токенів, словник з 20 000 слів) за допомогою репрезентацій наступників (successor representations, SRs) — техніки навчання з підкріпленням, яка передбачає дисконтовану ймовірність майбутніх станів на кількох часових горизонтах. Мережа передбачала розподіли слів на трьох горизонтах: короткому (1-2 слова вперед), середньому (3-5 слів вперед) і довгому (6-10 слів вперед). Після навчання дослідники проаналізували внутрішні репрезентації за допомогою некерованої кластеризації.
Вони виявили, що іменники, дієслова та прикметники утворювали чіткі кластери без жодного явного лінгвістичного контролю. Короткі прогностичні горизонти давали найсильнішу синтаксичну організацію (наприклад, іменники відокремлювалися від дієслів чисто), тоді як довші горизонти інтегрували більше семантичної інформації, групуючи слова за значенням, а не за граматикою. При дрібнішій роздільній здатності основних класів виникали підкатегорії — наприклад, іменники поділялися на конкретні та абстрактні, дієслова — на дію та стан.
Чому це важливо
Це ставить під сумнів ідею про те, що мозок повинен містити вбудовані категорії для дієслів та іменників. Натомість синтаксичні категорії можуть бути природним побічним продуктом передбачення того, яке слово з'явиться далі в потоці мовлення. Прогностичний горизонт діє як ручка налаштування: коротші погляди підкреслюють локальну граматику, довші — змішують значення. Це нагадує, як діти можуть вивчати мову — не через запам'ятовування правил, а стаючи кращими передбачувачами наступного слова матері.
Що ви можете зробити
Тренуйте свій прогностичний мозок, читаючи різноманітну літературу та намагаючись вгадати наступне слово в реченні. Ви також можете перевірити свої когнітивні здібності за допомогою безкоштовного IQ-тесту або покращити навички прогнозування за допомогою вправ для тренування мозку, заснованих на розпізнаванні патернів.
Джерело: arXiv q-bio.NC
Цікавитесь власним мозком? Пройдіть наш безкоштовний адаптивний IQ-тест або спробуйте 306 рівнів тренування мозку.
