Штучний інтелект може краще опанувати мову, якщо забуває — так само, як люди. Нове дослідження демонструє, що надання нейронній мережі обмеженої пам'яті, подібної до людської, насправді підвищує її здатність вивчати граматику з обмежених даних.
Дослідження
Дослідники Абішек Тамма (Амстердамський університет) та Міха Хейльброн (Інститут психолінгвістики імені Макса Планка) створили «трансформери зі швидкоплинною пам'яттю», які інтегрують згасання пам'яті та короткочасний ехо-буфер лише на 3–7 слів. Вони навчали ці моделі на наборі даних BabyLM, масштабованому до обсягу мови, яку чує людська дитина під час розвитку. Порівняно зі стандартними трансформерами, моделі зі швидкоплинною пам'яттю досягли кращої продуктивності в моделюванні мови та вищих результатів у тестах на синтаксичні знання — навіть маючи менший доступ до попереднього тексту. Ключовий механізм: забуваючи точні форми слів, ШІ був змушений стискати інформацію та зосереджуватися на повторюваних граматичних патернах.
Чому це важливо
Для тих, хто цікавиться власним навчанням, це дослідження висвітлює парадокс: забування не завжди є недоліком; це може бути перевагою. Людські обмеження пам'яті — як наш короткочасний ехо-буфер — насправді можуть допомагати виокремлювати абстрактні правила з мови. Той самий принцип може застосовуватися до того, як ми вивчаємо нові навички або факти: замість намагатися запам'ятати кожну деталь, дозволяючи частині інформації згасати, мозок може будувати міцніші, більш узагальнені знання. Це дослідження також показує, як знання про людське пізнання можуть надихати на створення кращих ШІ, роблячи машини ефективнішими учнями.
Що ви можете зробити
Щоб використати природні обмеження пам'яті свого мозку, спробуйте «інтервальне повторення» під час навчання: повторюйте матеріал зі збільшуваними інтервалами, дозволяючи деяким деталям згасати між сесіями. Зосередьтеся на розумінні основних правил, а не на запам'ятовуванні конкретики. А під час вивчення мови практикуйтеся короткими підходами — ваша ехо-пам'ять найкраще працює лише з кількома словами за раз.
Джерело: Neuroscience News
Цікавитесь власним мозком? Пройдіть наш безкоштовний адаптивний IQ-тест або спробуйте 306 рівнів тренування мозку.
