Ученые установили, что жесты, используемые во время разговора, не просто привлекают внимание аудитории к словам оратора, но и оказывают воздействие на то, как люди воспринимают звуки. В частности, определенные движения руками в процессе речи могут создавать у слушателей впечатление, будто звуки длязвучатся дольше, или восприниматься ими как ударные.
Специалисты из Института психолингвистики имени Макса Планка и Тилбургского университета провели исследование, чтобы определить, способны ли визуальные сигналы изменять наше восприятие звуков. Для этого ученые выбрали несколько голландских слов, различающихся исключительно ударением. Например, слово « Plato» платон — это имя древнегреческого философа, если ударение падает на первый слог. Если же ударение ставится на второй слог, то это слово означает «плато.
После этого исследователи выбрали группу мужчин и женщин среднего возраста. Участникам демонстрировались видеозаписи, на которых один из авторов исследования произносил слова с одинаковым написанием, но разным значением, одновременно совершая ритмичные жесты рукой. После респондентам предложили выбрать, какое слово произнес ученый, опираясь на произношение, а не на жесты.
Анализ показал, что слушатели склонны интерпретировать речь как ударную, когда акценты в ней подчеркиваются жестами. Этот эффект наблюдался даже в тех случаях, когда ученый произносил не слова, а последовательность букв: « BAAGpif» или «baagPIF». Помимо этого, было установлено, что жесты оказывали влияние и на продолжительность гласной: в первом случае участники фиксировали более длительное произношение звука «а» в слове « baagpif», а во втором — краткое. Команда представила результаты и подробности эксперимента опубликовала в журнале Proceedings of the Royal Society B.
«Восприятие звука не ограничивается слуховым аппаратом, — пояснил Харт Рутгер Боскер, автор исследования. — Полученные данные впервые демонстрируют, что жесты оказывают влияние на то, какие звуки мы воспринимаем». Ученые полагают, что в повседневных ситуациях этот эффект может быть более выраженным, когда речь, в реальных ситуациях не всегда можно столь же четко интерпретировать жесты, как это происходит в контролируемой лабораторной обстановке. Поэтому в условиях повышенного уровня помех жесты могут оказаться эффективным средством коммуникации.
Полученные данные также важны для взаимодействия человека и компьютера, в частности, для совершенствования систем распознавания речи. Боскер отметил, что такие системы, вероятно, должны учитывать не только речь.
Исследователи планируют продолжить изучение вопроса с применением технологии виртуальной реальности. Их цель – установить, насколько характерны наблюдаемые эффекты, и выяснить, что именно влияет на восприятие звуков: только жесты или другие визуальные сигналы, такие как кивки головы или движение бровей.