Bosh sahifa · Blog · Tadqiqotlar

Maksimal Entropiya Printsipi Neyron Tarmoq Tuzilmasini Treningdan Yaxshiroq Bashorat Qiladi

Nega neyron tarmoqlar aynan shunday aloqalarni hosil qiladi? Parijdagi École Normale Supérieure'dan Ludwig Hruza va Srdjan Ostojic tomonidan o'tkazilgan yangi tadqiqot hayratlanarli javob beradi: bu shunchaki o'rganish emas — bu vazifa talablari va tasodifiylik o'rtasidagi fundamental muvozanat.

Tadqiqot

Tadqiqotchilar maksimal entropiya printsipini — statistik mexanika tushunchasini — neyron bog'lanishlarni modellashtirish uchun qo'lladilar. Gradient tushish bilan tarmoqlarni o'rgatish o'rniga, ular bog'lanishlarni vazifa cheklovlari ostida bitta neyron og'irliklari bo'yicha ehtimollik taqsimoti sifatida tavsifladilar. Ushbu cheklovlar ostida Shennon entropiyasini maksimal qiladigan yagona taqsimot analitik usulda topildi.

Kontekstga bog'liq kirish-tanlash vazifalariga e'tibor qaratib, 2 qavatli oldinga yo'naltirilgan tarmoqlarda, chiziqli bo'lmagan tarmoqlar daromad-modulyatsiyalangan chiziqli modellarga o'tkazildi. Bir hil taqsimotdan boshlab, entropiyani maksimallashtirish tabiiy ravishda turli xil kontekstual daromad modulyatsiya naqshlariga ega neyron populyatsiyalarini hosil qildi. Kontekstlar sonini oshirish ixtisoslashgan populyatsiyalardan tasodifiy populyatsiyalarga o'tishni ta'minladi, og'irlik shkalasini oshirish esa tuzilgan stimul selektivligidan tasodifiyga o'tishga olib keldi. Ajoyibi shundaki, maksimal entropiya bog'lanishlari gradient tushish bilan o'rgatilgan tarmoqlarning tuzilishiga turli o'rganish rejimlarida (arXiv:2605.25607) sifat va miqdor jihatidan mos keldi.

Nima Uchun Bu Muhim

Bu topilma miya tashkil etilishi haqidagi fikrimizni o'zgartiradi. Bu neyron zanjirlarni faqat o'rganish algoritmlari emas, balki chuqurroq printsip: tuzilma (vazifa cheklovlari) va tasodifiylik (entropiya) o'rtasidagi muvozanat shakllantiradi, degan xulosani beradi. Inson bilimi uchun bu miyamizning bir muhitga moslashish o'rniga, turli xil kontekstlarni boshqarish uchun tabiiy ravishda optimallashtirilganligini anglatadi. Ushbu muvozanatni boshqaruvchi og'irlik shkalasi parametri nima uchun ba'zi odamlar ko'proq moslashuvchan yoki ko'proq ixtisoslashgan bilim ko'nikmalariga ega ekanligini tushunish uchun yangi ob'ektivni taklif qiladi.

Siz Nima Qila Olasiz

Bilim moslashuvchanligini rivojlantirish uchun sizni turli kontekstlarda sinovdan o'tkazadigan turli xil vazifalarni bajaring. Yangi til o'rganish, strategik o'yinlar o'ynash yoki ijodiy va analitik ish o'rtasida almashish muvozanatli neyron bog'lanishlarni rag'batlantiruvchi 'kontekstlarni' taqlid qilishi mumkin. Muntazamlik muhim: kunga 15-20 daqiqa turli xil aqliy faoliyat bilan shug'ullanishga harakat qiling, masalan, jumboqlar va o'qish o'rtasida almashish.

Manba: arXiv q-bio.NC

O'z miyangiz haqida qiziqasizmi? Bepul adaptiv IQ testimizni o'ting yoki 306 ta miya trenajyori darajalarini sinab ko'ring.

O'z IQ'ingizni bilmoqchimisiz?

7 ta kognitiv soha bo'yicha bepul, ilmiy asoslangan adaptiv testimizni o'ting. Ro'yxatdan o'tish shart emas.

Bepul testni boshlash