Музыка и наука породили смелые исследования в неврологии. Учёным удалось восстановить песню Pink Floyd «Another Brick in the Wall» на основе анализа мозговых волн слушателей. Это достижение, хоть и касается только одной песни, увеличивает возможности применения подобных методов для помощи людям с утратой речи и представляет собой многообещающий шаг в развитии интерфейсов «мозг-компьютер».
Слияние неврологии и технологий открывает новые возможности для понимания человеческого мозга. В эпоху тесного взаимодействия технологий и неврологии исследователи провели эксперимент, расшифровав культовую песню с помощью мозговых волн слушателей.
Исследователи, начав с песни Pink Floyd «Another Brick in the Wall», продемонстрировали возможность эксперимента и рассказали о его потенциале, особенно для глухих людей. Работа группы из Калифорнийского университета (Беркли) опубликована в журнале. .
Процесс, лежащий в основе волшебства
Исследование проведено на 29 пациентах с повторяющимися эпилептическими припадками, находившихся под наблюдением врачей. Для получения точных данных о мозговой активности в ходе исследования пациентам вживили электроды непосредственно на поверхность мозга. В процессе прослушивания песни Pink Floyd «Another Brick in the Wall» устройства регистрировали электрическую активность из разных областей мозга, отражая восприятие и обработку песни каждым пациентом.
Данные подвергались анализу с помощью алгоритмов искусственного интеллекта. Алгоритмы интерпретировали электрические сигналы для воссоздания звуковой версии песни, воспринимаемой мозгом участников. Хотя эта реконструкция не полностью воспроизводила оригинальную песню, она давала звуковую версию, отражающую сложность мозговых процессов, связанных с прослушиванием музыки.
В пресс-релизе Белье сообщил о новых областях мозга, участвующих в распознавании ритма, например, гитарного звука. Выяснилось, что отдельные участки слуховой коры реагируют на начало звучания голоса или синтезатора, а другие — на продолжительные звуки. Исследователи подтвердили, что правая сторона мозга более чувствительна к музыке.
Здесь показана первоначальная работа после лёгкой обработки для удобного сравнения с моделью ИИ.
Аудиоплеер
Чтобы изменить громкость, нажмите клавиши «вверх» или «вниз».
Приведен звук, созданный искусственным интеллектом по спектрограмме.
Аудиоплеер
Измените громкость кнопками вверх и вниз.
Почему Pink Floyd?
Выбор песни Pink Floyd «Another Brick in the Wall» для этого исследования не случаен. Песня выделяется музыкальной глубиной: в ней звучат сложные аккорды, разнообразные инструменты и многочисленные ритмы.
Эти элементы образуют насыщенный и многогранный материал для исследования, позволяющий глубоко изучить реакцию мозга на различные стимулы музыки. У человека эти музыкальные элементы, называемые просодией — ритм, ударение, интонация, — несут в себе смысл, отсутствующий в словах.
Выбор объясняется также личным пристрастием исследователей к группе Pink Floyd, что указывает на её признание и влияние в музыкальном мире.
За пределами музыки
Цель исследования заключалась в изучении способности декодировать музыку по волнам мозга. Исследование может иметь далеко идущие последствия, выходящие за рамки области музыки. Человеческая речь, подобно музыке, изобилует нюансами и вариациями, такими как темп, определяющий скорость речи, и ударение, выделяющее отдельные слоги или слова.
Акценты и интонации крайне важны для передачи эмоций и намерений в разговоре. Возможность расшифровать эти нюансы с помощью мозговых волн позволит создать имплантируемые декодеры речи. Такие приборы смогут, например, помочь глухим людям общаться более естественно и ярко.
Если бы интерфейс «мозг-компьютер» мог воссоздавать речь с безпрецедентной эмоциональной точностью, пользователи таких интерфейсов могли бы передавать не только мысли и предложения, но и чувства с нюансами, которые их сопровождают. В таком случае простое «Я тебя люблю» стало бы выражением страсти, остроты или нежности в зависимости от желаний человека, открывая новые горизонты общения.
Будущие исследования
Успехи многообещающие, но широкое применение всё ещё тормозят сложности. Одной из главных проблем является необходимость встраивания электродов прямо в мозг для получения точных электрических сигналов. Такая инвазивная процедура чревата рисками – инфекцией, кровотечением и нежелательными последствиями – и требует хирургического вмешательства высокой степени сложности.
Исследователи утверждают, что современные интерфейсы «мозг-машина», дающие возможность людям общаться при невозможности говорить, могут декодировать слова, но предложения получаются искусственными, подобно речи Стивена Хокинга, когда использовал устройство для её генерации.
В настоящий момент исследуются более щадящие варианты. Проводятся работы по увеличению чувствительности наружных электродов, которые можно расположить на коже головы, и изучаются другие способы визуализации головного мозга.