Новое исследование MIT, Нью-Йоркского университета и Стэнфорда показывает, что некоторые изображения естественным образом согласовывают то, как модели ИИ зрения и языка «видят» мир — и это согласование может отражать то, как наш собственный мозг объединяет органы чувств.
Исследование
Под руководством Эгбала А. Хоссейни, Брайана Чунга, Евелины Федоренко и Алекса Х. Уильямса команда использовала Обобщенный алгоритм Прокруста, чтобы измерить степень согласия различных моделей зрения по отдельным изображениям. Они тестировали модели, обученные на разных задачах (например, DINOv2, который учится без меток, в сравнении с моделями с учителем) и сравнивали их внутренние представления сотен натуральных изображений. Для каждого изображения они вычисляли внутримодальную дисперсию — насколько сильно модели зрения расходились во мнениях. Затем они измеряли кросс-модальную конвергенцию: согласованность между этими моделями зрения и языковыми моделями (например, CLIP).
Ключевой вывод: изображения с низкой внутримодальной дисперсией (меньше интерпретаций) давали до двукратного увеличения кросс-модальной согласованности. Например, объединение DINOv2 с языковыми моделями показало двукратное улучшение для «легких» изображений. Этот эффект сохранялся для различных пар моделей и критериев отбора.
Почему это важно
Ваш мозг постоянно объединяет то, что вы видите, с тем, что слышите или читаете. Это исследование предполагает, что нейронные сети — и, вероятно, человеческий мозг — наиболее сильно сходятся на стимулах, имеющих одну четкую интерпретацию. Примеры из повседневной жизни: фото кота (однозначное) против абстрактной картины (много интерпретаций). Понимание этого может помочь в разработке упражнений для тренировки мозга, улучшающих кросс-модальную интеграцию.
Что вы можете сделать
- Практикуйтесь описывать простые, четкие изображения словами, чтобы укрепить связи между зрением и языком.
- Попробуйте головоломки, которые сочетают визуальное с устной или письменной подсказкой — например, игры на сопоставление картинок и слов.
- При изучении нового понятия ищите четкие, прототипические примеры, а не неоднозначные.
Источник: arXiv q-bio.NC
Любопытно узнать свой мозг? Пройдите наш бесплатный адаптивный IQ-тест или попробуйте 306 уровней тренировки мозга.
