Команда исследователей выяснила, что движения руками не только акцентируют внимание слушателей на словах говорящего, но и влияют на восприятие звуков. Так, взмахи в определенный момент речи заставляют людей слышать звуки более долгими или воспринимать их как ударные.
Ученые из Института психолингвистики имени Макса Планка и Тилбургского университета проверили, могут ли визуальные сигналы повлиять на наше восприятие звуков. Чтобы исследовать этот вопрос, специалисты отобрали несколько голландских слов, которые отличались только ударением. Например, слово «Plato» с ударением на первый слог — это имя древнегреческого философа Платона. А с ударением на второй — плато.
Затем ученые отобрали группу мужчин и женщин среднего возраста. Им показали видео, где один из авторов исследования произносит омографы, параллельно делая ритмичные жесты рукой. После респондентам предложили выбрать, какое слово произнес ученый, опираясь на произношение, а не на жесты.
Оказалось, слушатели чаще воспринимали слог как ударный, если на нем акцентировали внимание жестов. Этот эффект сохранялся, даже если ученый произносил не слово, а набор букв: «BAAGpif» или «baagPIF». Кроме того, выяснилось, что жесты влияли и на длину гласной: так, в первом случае участники услышали долгое «а» в слове «baagpif», а во втором — короткое. Результаты и подробности эксперимента команда опубликовала в журнале Proceedings of the Royal Society B.
«Люди слушают не только ушами, но и глазами, — рассказал Харт Рутгер Боскер, автор работы. — Эти результаты впервые показывают, что жесты влияют на то, какие звуки мы слышим». Исследователи считают, что эффект может быть более сильным в обычной жизни, когда речь, как правило, менее понятна, чем во время эксперимента в лаборатории. Так что в условиях шума жесты могут оказаться полезными.
Кроме того, результаты опытов имеют значение во взаимодействии человека и компьютера — для улучшения систем распознавания речи. «Кажется очевидным, что такие системы должны учитывать больше, чем просто речь», — заключил Боскер.
Ученые собираются продолжить исследования, используя технологию виртуальной реальности. Они хотят проверить, насколько специфичны эти эффекты, влияют ли на восприятие звуков только жесты или можно воздействовать на слушателей и другими визуальными сигналами, например кивками головы или движением бровей.