Ошибки при чтении с губ — не случайные оговорки: они следуют структурной карте того, как слова выглядят на губах, согласно новому сетевому исследованию примерно 20 000 английских слов.
Исследование
Майкл Витевитч, профессор кафедры речевых, языковых и слуховых наук Канзасского университета, и его соавторы опубликовали результаты в Journal of the Acoustical Society of America. Вместо анализа ошибок через звук, как это делалось в большинстве предыдущих работ, команда построила визуальную карту английского словаря на основе визем — отдельных форм рта, челюсти и губ, соответствующих произносимым словам.
«Мы сосредоточились на визуальных характеристиках, — сказал Витевитч. — Вместо того чтобы смотреть, сколько звуков слова люди уловили, мы смотрели, сколько визуальных характеристик, которые мы называем “виземами”, они уловили».
Исследователи обнаружили, что около трети английских слов выглядят идентично как минимум одному другому слову при произнесении, создавая постоянных перцептивных конкурентов для чтецов с губ. Визуальный ландшафт слов распределён неравномерно — он растягивается и сжимается. Слова с высокой визуальной плотностью скапливаются в тесно упакованных областях, умножая похожих конкурентов и снижая точность чтения с губ.
Критически важно, что ошибки не случайны. Чтец с губ структурно более склонен ошибочно принять неоднозначное слово за более употребительное слово в том же сжатом сетевом регионе. И большинство ошибок невелики: люди обычно промахиваются мимо правильной цели всего на одну-две виземы.
Возьмём слова like «kit», «cat» и «cut», которые звучат и выглядят похоже. Или «vet», «fit» и «fuzz», которые не звучат одинаково, но всё равно выглядят похоже на губах. Если вы только наблюдаете за лицом, различение их становится когнитивным узким местом.
Почему это важно
Это исследование переосмысливает ошибки чтения с губ как свойства визуальной языковой сети, а не как провалы внимания или навыка. Для любого человека с потерей слуха это значимо: знание, где находятся визуальные узкие места, может сделать тренировку более целенаправленной. Это также важно для того, как мы в целом думаем о восприятии. Ваш мозг постоянно разрешает неоднозначность из неполных сигналов, и структура входных данных — а не только ваши усилия — определяет, где группируются ошибки. Команда KU уже переводит эти сетевые карты в клинические тренировочные программы для слабослышащих людей.
Те же данные могут помочь обучить мультимодальные инструменты транскрипции ИИ, подобные используемым в видеозвонках, объединять отслеживание лица со звуком для более человекоподобной точности.
Что вы можете сделать
- Практикуйте чтение с губ с высокоплотными парами слов («kit/cat/cut»), чтобы развить осознание визуальных узких мест.
- Наблюдая за лицами, сочетайте визуальные сигналы с контекстом — сжатые регионы больше всего выигрывают от нисходящего прогнозирования.
- Если вы тренируете навыки восприятия, сосредоточьтесь на дистанции ошибки: приближение на одну визему — измеримый прогресс.
Источник: Neuroscience News
Любопытно узнать о собственном мозге? Пройдите наш бесплатный адаптивный тест IQ или попробуйте 306 уровней тренировки мозга.