Katta til modellari (LLM) odamlarning tilni qanday qayta ishlashini tushunish uchun kuchli vositalardir, ammo vizual-til treningini qo‘shish ularning matn tasvirlarini har doim ham odamlarga o‘xshash qilmaydi. arXiv’da chop etilgan yangi tadqiqotda tadqiqotchilar Jinzhou Vu, Zhengvu Ma, Jixing Li, Baoping Tang va Zitong Lu bir-biriga mos keladigan LLM va vizual-matnli modellarni (VLM) solishtirib, multimodal oldindan tayyorlashning tabiiy o‘qish paytida inson miya faoliyati va ko‘z harakatlari bilan muvofiqlikni yaxshilashini tekshirdilar.
Tadqiqot
Jamoa butun miya po‘stlog‘idagi fMRI javoblari va insonlar tabiiy jumlalarni o‘qiyotganda sinxronlashtirilgan ko‘z izlash sakkadalari ma’lumotlar to‘plamidan foydalandi. Ular multimodal trening tarixidan tashqari bir xil bo‘lgan LLM va VLM juftliklarini solishtirib, onlayn vizual kiritish yoki o‘zaro modulli sintezni nazorat qildilar. Natijalar shuni ko‘rsatdiki, VLM’lar inson neyron va xulq-atvor javoblari bilan muvofiqlikda LLM’larga nisbatan global, bir xil ustunlikka ega emas. Buning o‘rniga, LLM’lardagi til ichki tasvirlari inson matnni qayta ishlashini modellashtirishda asosiy omil bo‘ldi. Biroq, jumlalar kuchli vizual semantik mazmunga ega bo‘lganda, VLM’lar tanlab yaxshilanishlarni ko‘rsatdi, bu fMRI va ko‘z izlash muvofiqliklaridan olingan dalillar bilan tasdiqlandi.
Nima uchun bu muhim
O‘z bilish qobiliyatiga qiziquvchilar uchun ushbu tadqiqot shuni ko‘rsatadiki, vizual ma’lumot qo‘shish ba’zan AI modellarining inson o‘qishiga taqlid qilishiga yordam berishi mumkin bo‘lsa-da, tilni tushunishning asosi tilning o‘zida qoladi. Bu turli xil o‘rganish turlari—faqat so‘zlardan yoki so‘zlar va tasvirlardan—aqliy tasvirlarimizni qanday shakllantirishini o‘rganish muhimligini ta’kidlaydi. Amaliy jihatdan, agar siz o‘qish tushunchangizni yaxshilamoqchi bo‘lsangiz, hamma narsani tasavvur qilishdan ko‘ra til ko‘nikmalariga (masalan, lug‘at va grammatika) e’tibor qaratish samaraliroq bo‘lishi mumkin.
Siz nima qilishingiz mumkin
Tilni qayta ishlashni kuchaytirish uchun og‘zaki ko‘nikmalaringizni sinovdan o‘tkazadigan mashg‘ulotlarni sinab ko‘ring—masalan, murakkab matnlarni o‘qish, yangi so‘zlarni o‘rganish yoki krossvordlar yechish. Ushbu mashqlar miyangizdagi til tarmoqlarini mustahkamlaydi, xuddi LLM’lar ko‘proq til treningidan foyda ko‘rganidek. Agar vizual fikrlashga moyil bo‘lsangiz, tasviriy, boy mazmundagi matnlarni qayta ishlashda ustunlikka ega bo‘lishingiz mumkinligini unutmang.
Manba: arXiv q-bio.NC
O‘z miyangiz haqida qiziqasizmi? Bepul moslashuvchan IQ testimizni o‘ting yoki 306 ta miya mashg‘ulotini sinab ko‘ring.
