Что, если мозгу не нужен специальный модуль грамматики? Новое исследование Университета Эрлангена-Нюрнберга показывает, что классы слов, такие как существительные, глаголы и прилагательные, могут возникать исключительно из обучения предсказывать, что произойдет дальше в языке.
Исследование
Матис Иммертрой и коллеги обучили глубокую остаточную нейронную сеть на WikiText-103 (103 миллиона токенов, словарь из 20 000 слов) с использованием преемственных представлений (SR) — метода обучения с подкреплением, который предсказывает дисконтированную вероятность будущих состояний на нескольких временных горизонтах. Сеть предсказывала распределение слов на трех горизонтах: коротком (1-2 слова вперед), среднем (3-5 слов вперед) и длинном (6-10 слов вперед). После обучения исследователи изучили внутренние представления с помощью неконтролируемой кластеризации.
Они обнаружили, что существительные, глаголы и прилагательные образовали отдельные кластеры без какого-либо явного лингвистического контроля. Короткие горизонты предсказания дали самую сильную синтаксическую организацию (например, существительные четко отделялись от глаголов), в то время как более длинные горизонты интегрировали больше семантической информации, группируя слова по значению, а не по грамматике. При более тонком разрешении внутри основных классов появились подкатегории — например, существительные разделились на конкретные и абстрактные, глаголы — на действия и состояния.
Почему это важно
Это бросает вызов идее, что в мозге должны быть жестко заданные категории для глаголов и существительных. Вместо этого синтаксические категории могут быть естественным побочным продуктом предсказания того, какое слово будет следующим в потоке речи. Горизонт предсказания действует как ручка настройки: короткие горизонты подчеркивают локальную грамматику, длинные смешивают значения. Это отражает то, как дети могут учить язык — не запоминая правила, а становясь лучше в предсказании следующего слова матери.
Что вы можете сделать
Тренируйте свой предсказательный мозг, читая разнообразные тексты и пытаясь угадать следующее слово в предложении. Вы также можете проверить свои когнитивные способности с помощью бесплатного IQ-теста или отточить навыки предсказания с помощью упражнений для тренировки мозга, основанных на распознавании образов.
Источник: arXiv q-bio.NC
Хотите узнать свой мозг? Пройдите наш бесплатный адаптивный IQ-тест или попробуйте 306 уровней тренировки мозга.
