Помилки при читанні з губ не є випадковими — вони підкоряються структурній карті того, як слова виглядають на губах, згідно з новим дослідженням у галузі мережевої науки, що охопило близько 20 000 англійських слів.
Дослідження
Майкл Вітевич, професор кафедри мовлення, мови та слуху Канзаського університету, разом із співавторами опублікував результати в Journal of the Acoustical Society of America. Замість аналізу помилок через звук, як робила більшість попередніх досліджень, команда побудувала візуальну карту англійської лексики на основі візем — характерних форм рота, щелепи та губ, що відповідають вимовленим словам.
«Ми зосередилися на візуальних характеристиках, — сказав Вітевич. — Замість того, щоб дивитися, скільки звуків слова люди розпізнали, ми дивилися, скільки візуальних характеристик, які ми називаємо "віземами", вони розпізнали».
Дослідники виявили, що близько третини англійських слів виглядають ідентично до принаймні одного іншого слова під час вимови, створюючи постійних перцептивних конкурентів для тих, хто читає з губ. Візуальний ландшафт слів розподілений нерівномірно — він розтягується та стискається. Слова з високою візуальною щільністю скупчуються в щільно заповнених регіонах, примножуючи схожих конкурентів і знижуючи точність читання з губ.
Важливо, що помилки не випадкові. Читач з губ структурно більш схильний помилково ідентифікувати неоднозначне слово як більш уживане слово в тому самому стиснутому мережевому регіоні. І більшість помилок незначні: люди зазвичай відхиляються від правильної цілі лише на одну-дві віземи.
Візьміть слова, як-от "kit", "cat" і "cut", які звучать і виглядають схоже. Або "vet", "fit" і "fuzz", які не звучать схоже, але все одно виглядають схоже на губах. Якщо ви лише спостерігаєте за обличчям, розрізнення їх стає когнітивним вузьким місцем.
Чому це важливо
Це дослідження переосмислює помилки читання з губ як особливості візуальної мовної мережі, а не як недоліки уваги чи навичок. Для людей із втратою слуху це має значення: знання того, де знаходяться візуальні вузькі місця, може зробити навчання більш цілеспрямованим. Це також важливо для нашого розуміння сприйняття загалом. Ваш мозок постійно розв'язує неоднозначність з неповних сигналів, і структура вхідних даних — а не лише ваші зусилля — визначає, де скупчуються помилки. Команда KU вже перетворює ці мережеві карти на клінічні навчальні програми для людей із вадами слуху.
Ті самі дані також можуть допомогти навчити мультимодальні інструменти AI-транскрипції, як-от ті, що використовуються у відеодзвінках, поєднувати відстеження обличчя з аудіо для більш людиноподібної точності.
Що ви можете зробити
- Тренуйте читання з губ із парами слів високої щільності ("kit/cat/cut"), щоб розвинути усвідомлення візуальних вузьких місць.
- Спостерігаючи за обличчями, поєднуйте візуальні підказки з контекстом — стиснуті регіони найбільше виграють від передбачення зверху вниз.
- Якщо ви тренуєте навички сприйняття, зосередьтеся на відстані помилки: наближення на одну візему — це вимірюваний прогрес.
Джерело: Neuroscience News
Цікаво дізнатися про власний мозок? Пройдіть наш безкоштовний адаптивний тест IQ або спробуйте 306 рівнів тренування мозку.