Навчитися утримувати інформацію протягом тривалого часу — фундаментальна проблема як для мозку, так і для штучних нейронних мереж. Нова стаття дослідників з Гарвардського університету та Стенфордського університету, опублікована на arXiv у березні 2025 року, створює математичну теорію того, як лінійні рекурентні нейронні мережі (RNN) навчаються інтегрувати білий шум — завдання, яке вимагає утримання вхідного сигналу з часом.
Що зробили дослідники
Блейк Борделон (Гарвард), Джордан Котлер (Гарвард), Джангіз Пєхлєван (Гарвард) та Джейкоб А. Заватон-Вет (Гарвард і Стенфорд) навчали лінійні RNN інтегрувати білий шум — сигнал, де кожен часовий крок є незалежним і випадковим. Вони почали з малих рекурентних ваг і відстежували, як змінювалася зв'язність мережі під час градієнтного навчання — того самого алгоритму, що використовується в навчанні сучасних ШІ.
Вони виявили, що динаміка навчання зводиться до низьковимірної системи, яка відстежує одне «аномальне» власне значення матриці рекурентних ваг. Це власне значення зростає під час навчання, створюючи тривалий внутрішній часовий масштаб, який дозволяє мережі інтегрувати вхідні дані протягом багатьох часових кроків. Цей процес точно відображає те, як безперервна модель атрактора або інтегратора підтримує стійку активність.
У другій серії експериментів команда розширила аналіз на мережі, що вивчають демпфований осциляційний фільтр. Тут еволюціонує спряжена пара власних значень, породжуючи осциляційну динаміку з певною частотою та швидкістю загасання.
Чому це важливо для вашого мозку
Ця математична структура показує чіткий шлях від початкової випадкової зв'язності до високоналаштованого інтегратора — схеми, яка може утримувати інформацію протягом секунд або довше. Хоча стаття вивчає штучні нейрони, принципи, ймовірно, застосовні до біологічних нейронних ланцюгів, таких як ті, що в префронтальній корі та підтримують робочу пам'ять. Розуміння цієї динаміки може допомогти когнітивним науковцям розробити кращі протоколи для тренування пам'яті та допомогти індивідуумам оптимізувати власну когнітивну продуктивність.
Практичні висновки
Хоча ви не можете безпосередньо впливати на власні значення свого мозку, ви можете зміцнити свою робочу пам'ять через практику. Завдання, які вимагають утримання та маніпулювання інформацією — як-от усні обчислення, запам'ятовування послідовностей або ігри на n-назад — відомі як такі, що задіюють ці інтеграторні ланцюги. Навіть просте двозадачне тренування, наприклад ходьба під час розв'язання математичних задач, може підвищити здатність вашого мозку утримувати та інтегрувати інформацію з часом.
Джерело: arXiv q-bio.NC
Цікавить власний мозок? Пройдіть наш безкоштовний адаптивний IQ тест або спробуйте 306 рівнів тренування мозку.
