Синапси — з'єднання між нейронами — відомі як місця зберігання спогадів, але дотепер ми не мали чіткого способу виміряти, скільки інформації вони містять. Команда на чолі з Сіньхао Фань з Університету Джонса Гопкінса змінила це, створивши теоретичну основу, яка кількісно визначає інформацію, що зберігається в синаптичних силах, а не лише в патернах нейронної активності. Опублікована в Neural Computation, ця робота пропонує математичний підхід до розуміння пам'яті як у біологічних, так і в штучних мережах.
Дослідження
Фань та співавтор Шріш Місор досліджували щільно з'єднані геббівські мережі, які виконують завдання автоасоціативної пам'яті, наприклад, відтворення патерну за частковою підказкою. Вони моделювали патерни даних для зберігання як логнормальні розподіли — реалістичне представлення розподілів синаптичних сил. Використовуючи теорію інформації Шеннона, вони вивели аналітичні формули взаємної інформації між даними та окремими синапсами, парами та довільними групами синапсів. Їхня структура показала, як кожен синапс робить внесок у зберігання, і виявила вражаючий ефект: інформація, що зберігається всіма синапсами разом, більша за суму інформації від кожного окремо. Ця «синергетична взаємодія» означає, що нейронна мережа кодує більше інформації колективно, ніж індивідуально. Теорія також узгоджується з усталеними висновками про ємність зберігання патернів та підтримує ідею розподіленого кодування, коли інформація розподіляється між багатьма з'єднаннями.
Чому це важливо
Ця структура формалізує те, що було інтуїтивно зрозуміло, але ніколи точно не вимірювалося: синапси не просто зберігають біти незалежно — вони працюють разом синергетично. Для розуміння навчання та пам'яті це означає, що, можливо, нам потрібно враховувати патерни з'єднань, а не лише окремі синапси. Для штучних нейронних мереж це може надихнути на більш ефективні способи зберігання інформації у зважених з'єднаннях. Для тих, хто цікавиться власним мозком, це підкреслює неймовірну ефективність дизайну мозку: наші спогади розподілені між мільярдами з'єднань, кожне з яких робить внесок у ціле, розумніше за свої частини.
Що ви можете зробити
Хоча ви не можете виміряти свої синапси вдома, ви можете підтримувати здоров'я мозку за допомогою регулярної розумової стимуляції, фізичних вправ, сну та збалансованої дієти. Постійно кидайте виклик своїй пам'яті за допомогою головоломок та нових навичок — ваше синаптичне зберігання виграє від різноманітності.
Джерело: arXiv q-bio.NC
Цікавитесь власним мозком? Пройдіть наш безкоштовний адаптивний IQ-тест або спробуйте 306 рівнів тренування мозку.
