Почему нейронные сети образуют связи именно так? Новое исследование Людвига Грузы и Срджана Остойича из Высшей нормальной школы в Париже предлагает неожиданный ответ: дело не только в обучении — это фундаментальный баланс между требованиями задачи и случайностью.
Исследование
Исследователи применили принцип максимальной энтропии, концепцию из статистической механики, для моделирования нейронной связности. Вместо обучения сетей с помощью градиентного спуска они описали связность как распределение вероятностей по весам отдельных нейронов с учетом ограничений задачи. Уникальное распределение, максимизирующее энтропию Шеннона при данных ограничениях, было решено аналитически.
Сосредоточившись на задачах выбора входных данных в зависимости от контекста в двухслойных сетях прямого распространения, они отобразили нелинейные сети на линейные модели с модуляцией усиления. Начиная с однородного распределения, максимизация энтропии естественным образом породила популяции нейронов с различными паттернами контекстной модуляции усиления. Увеличение числа контекстов привело к переходу от специализированных популяций к случайным, а увеличение шкалы весов — от структурированной селективности к случайной. Поразительно, что связность, полученная по принципу максимальной энтропии, качественно и количественно совпала со структурой сетей, обученных с помощью градиентного спуска, в различных режимах обучения (arXiv:2605.25607).
Почему это важно
Это открытие меняет наше представление об организации мозга. Оно предполагает, что нейронные цепи формируются не только алгоритмами обучения, но и более глубоким принципом: балансом между структурой (ограничениями задачи) и случайностью (энтропией). Для человеческого познания это означает, что наш мозг изначально оптимизирован для работы в широком спектре контекстов, не переобучаясь под какую-то одну среду. Параметр шкалы весов, управляющий этим балансом, открывает новый взгляд на то, почему одни люди более адаптивны или обладают более специализированными когнитивными навыками.
Что вы можете сделать
Чтобы развивать когнитивную гибкость, занимайтесь разнообразными задачами, которые бросают вызов в разных контекстах. Изучение нового языка, стратегические игры или даже переключение между творческой и аналитической работой могут имитировать те «контексты», которые способствуют сбалансированной нейронной связности. Важна последовательность: стремитесь уделять 15–20 минут в день разнообразной умственной деятельности, например, чередуя головоломки и чтение.
Источник: arXiv q-bio.NC
Хотите узнать свой мозг? Пройдите наш бесплатный адаптивный IQ-тест или попробуйте 306 уровней тренировки мозга.
