Мозг учится абстрактным представлениям многомерного сенсорного ввода, но правила пластичности, обеспечивающие такое обучение, неизвестны. Новое исследование на модели случайной иерархии (RHM) показывает, что самообучающиеся локальные правила обучения могут сравниться по эффективности использования данных с полным обратным распространением — без необходимости в симметричной сети ошибок.
Исследование
Исследователи из EPFL под руководством Ариан Дельрок, Ву Зихан, Гийома Беллека и Вульфрама Герстнера протестировали биологически правдоподобные алгоритмы на модели случайной иерархии (RHM) — искусственном наборе данных, имитирующем иерархическую структуру естественных данных. Они сравнили два семейства локальных правил обучения: первое использует прямые сигналы обратной связи для аппроксимации распространения ошибки от выходного слоя; второе использует послойные самообучающиеся цели (контрастные и неконтрастные).
Результаты показали, что все правила первого типа провалились на задачах RHM из-за отсутствия специфичных для ввода нелинейностей («маскировки»), присутствующих в обратном распространении. Однако алгоритмы второго типа успешно изучили скрытую иерархическую структуру, достигнув эффективности использования данных, сравнимой с обратным распространением с учителем. Примечательно, что эти правила совместимы с известными механизмами синаптической пластичности в мозге.
Почему это важно
Это исследование предполагает, что мозг может использовать локальные самообучающиеся правила для извлечения сложных иерархических признаков из сенсорного ввода, не полагаясь на глобальные сигналы ошибки. Для тех, кто интересуется собственным познанием, это означает, что ваш мозг, вероятно, строит абстрактные представления эффективно, используя локальные правила пластичности — что может помочь в разработке методов обучения, основанных на принципах самообучающегося обучения.
Что вы можете сделать
Вы можете применить это понимание, занимаясь задачами, требующими распознавания иерархических паттернов, такими как изучение нового языка, игра в стратегические игры или практика игры на музыкальном инструменте — виды деятельности, которые стимулируют самообучающееся локальное обучение в вашем мозге.
Источник: arXiv q-bio.NC
Интересуетесь собственным мозгом? Пройдите наш бесплатный адаптивный IQ-тест или попробуйте 306 уровней тренировки мозга.
