Новое физическое исследование обнаружило удивительную асимметрию: запуск нейронной сети — часть «мышления» — теоретически может стоить ноль энергии, но обучение — часть «обучения» — всегда сжигает несколько квантов энергии на каждый факт. Это открытие бросает вызов нашим предположениям об энергоэффективности как искусственного, так и биологического мозга.
Исследование
Физик Алексей В. Ткаченко (аффилированный с Брукхейвенской национальной лабораторией и Инициативой по теоретическим наукам, согласно метаданным препринта) опубликовал статью в марте 2025 года на arXiv, последняя редакция — в августе 2026 года. Он построил математическую модель нейронной сети прямого распространения, самого распространенного типа ИИ, и рассматривал ее как физическую систему, подчиняющуюся законам термодинамики.
Ткаченко нашел две точные границы. Во-первых, если сеть обрабатывает информацию бесконечно медленно (квазистатически), работа, необходимая для логического вывода, равна точно нулю — независимо от входных данных, весов или смещения. Во-вторых, при любой конечной скорости стоимость энергии составляет не менее квадрата расстояния Вассерштейна-2 между начальным и конечным состояниями, деленного на продолжительность. На практике это означает, что энергетическая стоимость логического вывода определяется тем, насколько быстро вы меняете состояние, и при максимально возможной скорости это около k_B T на измерение самого широкого слоя — это одна единица тепловой энергии на нейрон.
Поразительно, что обучение отличается. Запись параметров в сеть влечет за собой неустранимую стоимость в несколько k_B T на каждый вес и смещение, и эта стоимость сохраняется даже в квазистатическом пределе. В симуляциях работа логического вывода достигала транспортной границы с точностью до 4%, а точность падала, как только рассеянная работа опускалась ниже теплового масштаба.
Почему это важно
Это исследование устанавливает фундаментальный предел энергоэффективности любой физической сети, включая биологический мозг. Ваш мозг потребляет около 20 ватт, и это исследование предполагает, что большая часть этой энергии используется не для самого акта мышления, а для обучения и поддержания сети (хотя эта статья сосредоточена на обучении). Для ИИ это означает, что энергетическую стоимость запуска обученной сети (логического вывода) можно сделать сколь угодно малой с помощью умной инженерии, но обучение новых моделей всегда будет стоить определенную сумму за параметр. Это может направлять проектирование аппаратного обеспечения: вместо оптимизации арифметики сосредоточьтесь на минимизации энергии записи в память.
Что вы можете сделать
Для вашего собственного мозга это исследование подчеркивает, что изучение нового принципиально более энергоемко, чем вспоминание или использование того, что вы знаете. Поэтому, когда вы учитесь, не удивляйтесь, если чувствуете умственную усталость — это термодинамическая цена обучения. Чтобы максимизировать эффективность, распределяйте учебные занятия, давая мозгу время на консолидацию, и сосредоточьтесь на понимании, а не на механическом запоминании, что может уменьшить избыточные обновления параметров.
Источник: arXiv q-bio.NC
Интересуетесь собственным мозгом? Пройдите наш бесплатный адаптивный IQ-тест или попробуйте 306 уровней тренировки мозга.