Новаторское исследование ученых из Колумбийского университета показывает, что нейронные сети могут органически расти в ширину, глубину и время — и что время, которое они тратят на обработку информации, отражает время реакции человека.
Исследование
Эйвинас Буткус, Кедар Гарсон Гупта и Николаус Кригескорте разработали рекуррентную сверточную нейронную сеть, которая могла решать, насколько широкой, глубокой и с каким количеством рекуррентных шагов (времени) она будет работать. Они добавили дифференцируемые затраты для каждого ресурса — ширина (количество единиц на слое), глубина (количество слоев) и время (количество рекуррентных шагов) — и обучили сеть на задачах распознавания объектов. Регулируя «давление» на каждую стоимость, сеть спонтанно вырастала в разные архитектуры: широкую и мелкую, глубокую и узкую или нечто среднее. Команда обнаружила, что все три ресурса можно обменивать друг на друга для достижения заданной точности. Например, уменьшение глубины вдвое можно компенсировать удвоением ширины или добавлением дополнительных рекуррентных шагов. Более того, когда входные данные были частично затенены, сеть автоматически выполняла больше рекуррентных шагов — она «думала дольше» над более сложными задачами. Самое поразительное: время, которое модель тратила на каждое изображение, коррелировало со временем реакции человека в той же задаче распознавания объектов (r = 0,62, p < 0,001).
Почему это важно
Этот результат предполагает, что наш мозг также может обменивать пространственные ресурсы (количество нейронов, площадь коры) на временные ресурсы (время обработки). Тот факт, что простая стоимостная функция может порождать поведение, подобное мозгу, намекает на то, что эволюция и развитие могут использовать аналогичные принципы. Для вас это означает, что ваш мозг постоянно балансирует между скоростью и точностью — и что тратить больше времени на проблему может компенсировать ограниченные нейронные ресурсы. Это также подтверждает, почему задачи на время реакции используются в тестах IQ: они затрагивают этот фундаментальный компромисс.
Что вы можете сделать
Практикуйте задачи, требующие как скорости, так и точности, например, головоломки на время или игры на запоминание. Когда вы замедляетесь, чтобы правильно решить задачу, вы задействуете более глубокую обработку — естественную версию добавления дополнительных «временных шагов». Со временем ваш мозг может стать более эффективным в распределении ресурсов.
Источник: arXiv q-bio.NC
Хотите узнать свой мозг? Пройдите наш бесплатный адаптивный тест IQ или попробуйте 306 уровней тренировки мозга.
