Bosh sahifa · Blog · Tadqiqotlar

Diviziv normalizatsiya neyron tarmoqlarida ish xotirasini yaxshilaydi

Diviziv normalizatsiya neyron tarmoqlarida ish xotirasini yaxshilaydi

Miyangiz telefon raqamini bir necha soniya davomida qanday saqlaydi? Yangi tadqiqot bunday doimiy ish xotirasini saqlashga yordam beradigan o'ziga xos neyron hisoblashni ko'rsatmoqda.

Tadqiqot

Fudan universitetidan Zhaotian Gu boshchiligidagi jamoa va bir nechta institutlardan hamkorlar (2026-yil 3-avgustda arXivga taqdim etilgan) sun'iy takroriy neyron tarmoqlari (RNN) doimiy o'zgaruvchilarni saqlashni qanday o'rganishi mumkinligini o'rganishdi - bu ish xotirasining o'ziga xos belgisi. An'anaviy doimiy attraktor tarmoqlari mo'rt va nozik sozlashni talab qiladi, GRU va LSTM kabi mashhur RNNlar esa ko'pincha muvaffaqiyatsizlikka uchrab, doimiy bo'shliqni diskret nuqtalarga bo'ladi.

Biologiyadan ilhomlangan tadqiqotchilar kortikal davrlarda ko'rinadigan hisoblash bo'lgan diviziv normalizatsiyani o'z ichiga olgan Rekurrent Diviziv Normalizatsiya Tarmog'ini (RDNN) taklif qilishdi. Kanonik ish xotirasi vazifalari bo'yicha dinamik tizimlar tahlili orqali ular RDNNlar mustahkam, yuqori aniqlikdagi sekin manifoldlarga yaqinlashishini, ya'ni xotira qiymatlarini silliq ushlab turishini aniqladilar. Shuningdek, ular o'qitish paytida gradient dinamikasini tahlil qilib, diviziv normalizatsiya faoliyatga bog'liq gradient masshtabiga olib kelishini va bu tarmoqning samarali darajasini siqib, dinamikani aniq daraja cheklovlarisiz past o'lchovli pastki fazoga cheklashini ko'rsatdilar.

Muhimi, ablatsiya tajribalari shuni ko'rsatdiki, subtraktiv inhibisyon statik xotiralarni ushlab turishi mumkin bo'lsa-da, diviziv normalizatsiya vaqt o'tishi bilan kirishlar o'zgarganda "manifold parchalanishi" ning oldini olish uchun matematik jihatdan zarurdir. Bu shuni ko'rsatadiki, diviziv normalizatsiya shunchaki biologik qiziqish emas, balki doimiy tasvirlarni o'rganishning asosiy mexanizmidir.

Nima uchun bu muhim

Sizning miyangiz uchun bu tadqiqot ma'lumotni barqaror ushlab turish uchun neyron faoliyatini normallashtirish - sizning miyangiz doim qiladigan narsa - muhimligini ta'kidlaydi. Bu nima uchun ba'zi odamlar diqqatni jamlash yoki chalg'itish paytida tafsilotlarni eslab qolishda yaxshiroq ekanligini tushuntirishi mumkin. AI uchun bu navigatsiya yoki tilni tushunish kabi doimiy xotirani talab qiladigan vazifalar uchun yaxshiroq arxitekturalarni taklif qiladi.

Siz nima qila olasiz

Siz miyangizning diviziv normalizatsiyasini to'g'ridan-to'g'ri boshqara olmasangiz ham, ish xotirangizni ma'lumotni saqlash va yangilashni talab qiladigan mashqlar bilan mashq qilishingiz mumkin, masalan, aqliy hisob-kitob, ketma-ketlikni yodlash yoki ikki vazifali trening. Bir vaqtning o'zida bitta vazifaga uzoq vaqt davomida to'xtovsiz diqqatni jamlashni mashq qiling.

Manba: arXiv q-bio.NC

O'z miyangiz haqida qiziqasizmi? Bepul adaptiv IQ testini topshiring yoki 306 ta miya mashqlari darajasini sinab ko'ring.

O'z IQ'ingizni bilmoqchimisiz?

7 ta kognitiv soha bo'yicha bepul, ilmiy asoslangan adaptiv testimizni o'ting. Ro'yxatdan o'tish shart emas.

Bepul testni boshlash