Нове дослідження MIT, Нью-Йоркського університету та Стенфорду показує, що деякі зображення природним чином узгоджують те, як моделі ШІ зору та мови «бачать» світ — і це узгодження може відображати те, як наш власний мозок поєднує відчуття.
Дослідження
Під керівництвом Егбаля А. Хоссейні, Брайана Чунга, Евеліни Федоренко та Алекса Х. Вільямса, команда використовувала узагальнений алгоритм Прокруста для вимірювання того, наскільки різні моделі зору узгоджувались щодо окремих зображень. Вони перевірили моделі, навчені на різних завданнях (наприклад, DINOv2, яка навчається без міток, проти контрольованих моделей), і порівняли їхні внутрішні представлення сотень природних зображень. Для кожного зображення вони обчислювали внутрішньомодальну дисперсію — наскільки моделі зору розходилися. Потім вони вимірювали крос-модальну конвергенцію: узгодження між цими моделями зору та мовними моделями (як CLIP).
Ключовий висновок: зображення з низькою внутрішньомодальною дисперсією (менше інтерпретацій) давали до подвійного збільшення крос-модального узгодження. Наприклад, поєднання DINOv2 з мовними моделями показало подвійний приріст для «легких» зображень. Цей ефект спостерігався для різних пар моделей та критеріїв відбору.
Чому це важливо
Ваш мозок постійно об'єднує те, що ви бачите, з тим, що чуєте або читаєте. Це дослідження припускає, що нейронні мережі — і, ймовірно, мозок людини — найсильніше сходяться на стимулах, які мають одне чітке тлумачення. Повсякденні приклади включають фото кота (однозначне) проти абстрактної картини (багато інтерпретацій). Розуміння цього може допомогти розробити вправи для тренування мозку, які покращують крос-модальну інтеграцію.
Що ви можете зробити
- Практикуйте опис простих, чітких зображень словами, щоб зміцнити зв'язки між зором і мовою.
- Спробуйте головоломки, які поєднують візуальне з усним або письмовим підказкою — як ігри на відповідність картинок та слів.
- Вивчаючи нову концепцію, шукайте чіткі, прототипні приклади, а не неоднозначні.
Джерело: arXiv q-bio.NC
Цікаво дізнатися про свій мозок? Пройдіть наш безкоштовний адаптивний IQ-тест або спробуйте 306 рівнів тренування мозку.
