Мозок навчається абстрактним представленням високовимірних сенсорних даних, але правила пластичності, що забезпечують таке навчання, невідомі. Нове дослідження моделі Random Hierarchy Model (RHM) показує, що локальні правила самонавчання можуть досягти ефективності використання даних, порівнянної з повним backpropagation, без необхідності симетричної мережі помилок.
Дослідження
Дослідники з EPFL під керівництвом Аріан Дельрок, Ву С. Зіхан, Ґійома Беллека та Вульфрама Ґерстнера протестували біологічно правдоподібні алгоритми на моделі Random Hierarchy Model (RHM) — штучному наборі даних, що імітує ієрархічну структуру природних даних. Вони порівняли дві родини локальних правил навчання: перша використовує прямі сигнали зворотного зв'язку для апроксимації поширення помилки з вихідного шару; друга — пошарові цілі самонавчання (контрастні та неконтрастні).
Результати показали, що всі правила першого типу не спрацювали на завданнях RHM через відсутність вхідно-специфічних нелінійностей (маскування), присутніх у backpropagation. Однак алгоритми другого типу успішно вивчили приховану ієрархічну структуру, досягнувши ефективності використання даних, порівнянної з контрольованим backpropagation. Примітно, що ці правила сумісні з відомими механізмами синаптичної пластичності в мозку.
Чому це важливо
Це дослідження припускає, що мозок може використовувати локальні правила самонавчання для видобуття складних ієрархічних ознак із сенсорних даних, не покладаючись на глобальні сигнали помилок. Для тих, хто цікавиться власним пізнанням, це означає, що ваш мозок, імовірно, будує абстрактні представлення ефективно, використовуючи локальні правила пластичності — що може вплинути на методи навчання, які використовують принципи самонавчання.
Що ви можете зробити
Ви можете застосувати це розуміння, займаючись завданнями, що вимагають ієрархічного розпізнавання образів, такими як вивчення нової мови, гра в стратегічні ігри або практика на музичному інструменті — активностями, що стимулюють самонавчання та локальне навчання у вашому мозку.
Джерело: arXiv q-bio.NC
Цікавить ваш власний мозок? Пройдіть наш безкоштовний адаптивний IQ-тест або спробуйте 306 рівнів тренування мозку.
