Обучение сохранению информации в течение длительных периодов — фундаментальная задача как для мозга, так и для искусственных нейронных сетей. Новая статья исследователей из Гарвардского и Стэнфордского университетов, опубликованная на arXiv в марте 2025 года, строит математическую теорию того, как линейные рекуррентные нейронные сети (RNN) учатся интегрировать белый шум — задачу, требующую удержания входного сигнала во времени.
Что сделали исследователи
Блейк Борделон (Гарвард), Джордан Котлер (Гарвард), Дженгиз Пехлеван (Гарвард) и Джейкоб А. Заватоне-Вет (Гарвард и Стэнфорд) обучили линейные RNN интегрировать белый шум — сигнал, где каждый временной шаг независим и случаен. Они начали с малых рекуррентных весов и отслеживали, как менялась связность сети в процессе градиентного обучения — того же алгоритма, который используется при обучении современного ИИ.
Они обнаружили, что динамика обучения сводится к низкоразмерной системе, отслеживающей одно «выбросное» собственное значение матрицы рекуррентных весов. Это собственное значение растет в ходе обучения, создавая длительную внутреннюю временную шкалу, которая позволяет сети интегрировать входные сигналы на многих временных шагах. Процесс точно отражает то, как модель непрерывного аттрактора или интегратора поддерживает устойчивую активность.
Во второй серии экспериментов команда расширила анализ на сети, обучающиеся затухающему осцилляторному фильтру. Здесь эволюционирует пара комплексно-сопряженных собственных значений, порождая осцилляторную динамику с определенной частотой и скоростью затухания.
Почему это важно для вашего мозга
Эта математическая рамка показывает четкий путь от начальной случайной связности к высоконастроенному интегратору — схеме, способной удерживать информацию секунды и дольше. Хотя статья изучает искусственные нейроны, принципы, вероятно, применимы и к биологическим нейронным сетям, например, в префронтальной коре, поддерживающим рабочую память. Понимание этой динамики может помочь когнитивистам разрабатывать лучшие протоколы тренировки памяти и помогать людям оптимизировать свои когнитивные способности.
Практический вывод
Хотя вы не можете напрямую подкрутить собственные значения своего мозга, вы можете укрепить рабочую память с помощью практики. Задачи, требующие удержания и манипулирования информацией — например, устный счет, запоминание последовательностей или игры в n-назад, — как известно, задействуют эти интеграторные схемы. Даже простое выполнение двух задач одновременно, например, ходьба во время решения математических задач, может улучшить способность мозга поддерживать и интегрировать информацию во времени.
Источник: arXiv q-bio.NC
Интересуетесь собственным мозгом? Пройдите наш бесплатный адаптивный IQ-тест или попробуйте 306 уровней тренировки мозга.
