Модель ШІ, яка, здавалося, імітує людське мислення у 160 когнітивних завданнях, може насправді запам'ятовувати відповіді, а не розуміти їх, згідно з новим дослідженням.
Дослідження
У липні 2025 року дослідження в Nature представило Centaur, ШІ, побудований на великих мовних моделях і доопрацьований на психологічних експериментах. Він добре впорався із завданнями, що включають прийняття рішень та виконавчий контроль, викликаючи надії на ШІ, здатний відтворювати людське пізнання.
Однак нещодавнє дослідження в National Science Open ставить під сумнів ці твердження. Дослідники з Чжецзянського університету, зокрема Вей Лю та Най Дін, запідозрили, що успіх Centaur може бути зумовлений перенавчанням — запам'ятовуванням закономірностей, а не вивченням основних завдань.
Щоб перевірити це, вони створили нові сценарії оцінювання. В одному з них вони замінили оригінальні запитання з варіантами відповідей простою інструкцією: «Будь ласка, оберіть варіант А». Якби Centaur справді розумів завдання, він би послідовно обирав варіант А. Натомість він продовжував обирати «правильні» відповіді з оригінального набору даних, ігноруючи нову інструкцію. Це свідчить про те, що модель не інтерпретувала значення запитань, а покладалася на статистичні закономірності для вгадування відповідей — як учень, який складає іспити, запам'ятовуючи формати, не розуміючи матеріал.
Чому це важливо
Це відкриття є вирішальним для оцінювання систем ШІ. Великі мовні моделі можуть вражаюче підлаштовуватися під дані, але їхня «чорна скринька» ускладнює розуміння того, як вони отримують результати. Це може призвести до помилок, таких як галюцинації або неправильні інтерпретації. Для тих, хто використовує інструменти ШІ, це нагадування, що продуктивність на бенчмарках не гарантує справжнього розуміння.
Для вашого власного пізнання це підкреслює різницю між запам'ятовуванням і розумінням — відмінність, яка впливає на навчання та вирішення проблем у повсякденному житті.
Що ви можете зробити
Щоб зміцнити власне розуміння, практикуйте активне навчання: пояснюйте концепції своїми словами, застосовуйте їх у нових ситуаціях і тестуйте себе різноманітними прикладами. Уникайте лише механічного запам'ятовування; прагніть до гнучких знань, які можуть адаптуватися до нових контекстів.
Джерело: ScienceDaily Mind & Brain
Цікаво дізнатися про власний мозок? Пройдіть наш безкоштовний адаптивний IQ-тест або спробуйте 306 рівнів тренування мозку.