Системи штучного інтелекту — як і людський мозок — часто спотикаються в несподіваний момент: саме тоді, коли вони починають вивчати щось нове, їхня продуктивність у старих завданнях тимчасово падає. Тепер команда дослідників запозичила механізм мозку, щоб пом'якшити цей спад.
Дослідження
Алехандро Родрігес-Гарсія, Аніндя Гош і Шрікант Рамасвамі вивчали проблему в безперервному навчанні під назвою розрив стабільності: тимчасове зниження продуктивності на раніше вивчених завданнях, коли вводяться нові. Їхня робота опублікована на arXiv (подано 18 липня 2025 року, переглянуто 10 серпня 2026 року; arXiv:2507.14056v3) і охоплює машинне навчання, штучний інтелект, а також нейрони та пізнання.
Стандартні оптимізатори, як-от momentum-SGD і Adam, уже забезпечують певний баланс між адаптацією до нових даних і збереженням старих знань. Але дослідники виявили, що ці оптимізатори все одно демонструють чіткі розриви стабільності — навіть за ідеального «спільного навчання», коли всі завдання тренуються разом одночасно. Це робить спільне навчання чистим середовищем для ізоляції причин розриву.
Натхненні тим, як норадренергічні сплески в мозку раптово підвищують нейронне підсилення в умовах невизначеності, команда додала механізм динамічного масштабування підсилення. Уявіть це як оптимізатор із двома часовими масштабами: він ненадовго підвищує ефективну величину оновлення під час переходів між завданнями, одночасно динамічно перепараметризуючи ваги, які керують прямім проходом. Мета: зменшити підсилення кривизни, що виникає, коли розподіл даних різко змінюється.
Вони перевірили динамічне масштабування підсилення на доменних і класових інкрементальних версіях бенчмарків MNIST, CIFAR і mini-ImageNet у режимі спільного навчання, незалежного від завдань. Метод послабив розриви стабільності, зберігаючи конкурентну точність. Іншими словами, система не просто обмінювала старі навички на нові — вона утримувала обидві стабільніше.
Чому це важливо
Ваш мозок щодня стикається з тією самою дилемою стабільності та пластичності. Коли ви опановуєте новий програмний інструмент, мову чи маршрут водіння, ваші старі звички можуть хитатися. Норадреналін — нейромодулятор, пов'язаний із пильністю та невизначеністю — допомагає вашим нейронам тимчасово підвищити своє «підсилення», роблячи їх більш чутливими без стирання наявних зв'язків. Це дослідження показує, що той самий принцип можна перевести в математичне правило оптимізації.
Для всіх, хто цікавиться пізнанням, висновок такий: різкі переходи в навчанні — це не особиста невдача, а фундаментальний компроміс. Дослідження також натякає, що короткі, стратегічні підсилення уваги чи збудження — саме ті, які забезпечує норадреналін — можуть допомогти вам долати ці межі плавніше.
Що ви можете зробити
- Перемикаючись між складними завданнями, дайте собі коротку паузу або підвищення новизни — прогулянку, зміну обстановки — щоб імітувати контрольоване підвищення підсилення.
- Уникайте накопичення кількох абсолютно нових навичок за один підхід; дайте кожному переходу встоятися, перш ніж додавати наступний.
- Якщо ви відчуваєте, що стали повільнішими у старому завданні після початку нового, визнайте це як тимчасовий розрив стабільності, а не втрачену здатність.
Джерело: arXiv q-bio.NC
Цікаво дізнатися про власний мозок? Пройдіть наш безкоштовний адаптивний тест IQ або спробуйте 306 рівнів тренування мозку.