Нове фізичне дослідження виявляє дивовижну асиметрію: запуск нейронної мережі – "мислення" – теоретично може коштувати нуль енергії, але навчання – "вивчення" – завжди спалює кілька квантів енергії за факт. Це відкриття кидає виклик нашим припущенням про енергоефективність як штучних, так і біологічних мозків.
Дослідження
Фізик Олексій В. Ткаченко (афілійований з Брукхейвенською національною лабораторією та Ініціативою теоретичних наук, згідно з метаданими препринту) опублікував статтю в березні 2025 року на arXiv, з останньою редакцією в серпні 2026 року. Він побудував математичну модель нейронної мережі прямого поширення, найпоширенішого типу, що використовується в ШІ, і розглянув її як фізичну систему, що підпорядковується законам термодинаміки.
Ткаченко виявив дві точні межі. По-перше, якщо мережа обробляє інформацію нескінченно повільно (квазістатично), робота, необхідна для інференції, дорівнює точно нулю – незалежно від входів, ваг або зсувів. По-друге, при будь-якій кінцевій швидкості вартість енергії становить принаймні квадрат відстані Вассерштейна-2 між початковим і кінцевим станами, поділений на тривалість. Практично це означає, що вартість енергії інференції визначається тим, наскільки швидко ви змінюєте стан, і при максимально допустимій швидкості вона становить близько k_B T на вимір найширшого шару – це одна одиниця теплової енергії на нейрон.
Вражаюче, навчання відрізняється. Запис параметрів у мережу несе незворотну вартість у кілька k_B T на вагу та зсув, і ця вартість зберігається навіть у квазістатичній межі. У симуляціях робота інференції перевищувала транспортну межу на 4%, а точність руйнувалася, коли розсіяна робота опускалася нижче теплового масштабу.
Чому це важливо
Це дослідження встановлює фундаментальну межу енергоефективності будь-якої фізичної мережі, включаючи біологічні мозки. Ваш мозок споживає близько 20 ватів, і це дослідження припускає, що основна частина цієї енергії використовується не для акту мислення як такого, а для навчання та підтримки мережі (хоча ця стаття зосереджена на навчанні). Для ШІ це означає, що енергетичну вартість запуску навченої мережі (інференції) можна зробити як завгодно малою за допомогою розумної інженерії, але навчання нових моделей завжди коштуватиме певну суму за параметр. Це може спрямувати дизайн обладнання: замість оптимізації арифметики зосередитися на мінімізації енергії запису в пам'ять.
Що ви можете зробити
Для вашого власного мозку це дослідження підкреслює, що вивчення нового є принципово більш енергоємним, ніж згадування або використання того, що ви знаєте. Тож коли ви навчаєтеся, не дивуйтеся, якщо відчуваєте розумову втому – це термодинамічна ціна навчання. Щоб максимізувати ефективність, розподіляйте навчання на сесії, даючи мозку час на консолідацію, і зосередьтеся на розумінні, а не на механічному запам'ятовуванні, що може зменшити зайві оновлення параметрів.
Джерело: arXiv q-bio.NC
Цікавить ваш власний мозок? Пройдіть наш безкоштовний адаптивний IQ-тест або спробуйте 306 рівнів тренування мозку.