Коли ви бачите червоне яблуко на синій тарілці, ваш мозок миттєво розуміє, що червоний колір належить яблуку, а не тарілці. Ця здатність — пов'язувати ознаки, як-от колір, форма та текстура, з правильним об'єктом — називається зв'язуванням. Нове дослідження лабораторії Кордінга з Пенсільванського університету (Lianghuan Huang, Yihao Li, Saeed Salehi, Yingshan Chang, Ansh Soni та Konrad P. Kording), прийняте до ICML 2026, виявляє, що навіть найсучасніші Vision Transformers (ViTs) часто не справляються з цим фундаментальним когнітивним завданням, особливо коли об'єкти мають спільні ознаки.
Дослідження
Команда формалізувала проблему зв'язування за допомогою теорії інформації та розробила метод зондування для вимірювання кількості інформації про зв'язування, закодованої в представленнях моделі. Вони протестували кілька попередньо навчених ViT на наборах даних, призначених для перевірки зв'язування, таких як зображення з об'єктами, що перекриваються, спільними ознаками (наприклад, два червоних кола) та природними сценами. Їхній ключовий висновок: інформація про зв'язування присутня, але слабка, особливо в токені [CLS] (токені підсумку, що використовується для класифікації). Просторові токени працювали краще, але загалом моделі часто помилково приписували ознаки неправильному об'єкту — повторюючи поширену помилку в завданнях візуального мислення. Наприклад, у сценах з двома об'єктами одного кольору ViT часто плутали, який об'єкт має який колір, що призводило до зниження точності до 30% порівняно з людьми.
Чому це важливо
Для людського пізнання зв'язування є автоматичним і невимушеним — ми навіть не замислюємося про це. Але це дослідження показує, що наш мозок виконує складні обчислення, які навіть найкращий ШІ не може відтворити. Розуміння зв'язування допомагає пояснити, чому ШІ можна обдурити за допомогою змагальних прикладів або він має труднощі з багатооб'єктними сценами. Для вашого власного мозку зв'язування залежить від уваги та робочої пам'яті; коли вони дають збій (наприклад, під час багатозадачності), ви відчуваєте ті ж помилки — як-от поставити молоко в шафу. Покращення здатності зосереджуватися та утримувати в умі кілька ознак може загострити ваше візуальне мислення.
Що ви можете зробити
Тренуйте здатність мозку до зв'язування: практикуйте візуальні ігри на пошук, де потрібно зіставляти ознаки (наприклад, знайдіть синій квадрат серед червоних квадратів і синіх кіл). Також обмежте багатозадачність — коли ви розділяєте увагу, зв'язування страждає. Спробуйте вправи на усвідомленість, які зосереджуються на одному об'єкті, відмічаючи його колір, текстуру та форму одночасно.
Джерело: arXiv q-bio.NC
Цікавитесь власним мозком? Пройдіть наш безкоштовний адаптивний IQ-тест або спробуйте 306 рівнів тренування мозку.
