Слияние неврологии и технологий открывает невиданные горизонты в нашем понимании человеческого мозга. В эпоху, когда технологии и неврология все больше пересекаются, исследователи предприняли смелый эксперимент: расшифровали культовую песню с помощью мозговых волн слушателей.
Взяв за отправную точку песню Pink Floyd «Another Brick in the Wall», исследователи не только продемонстрировали возможность реализации этого эксперимента, но и рассказали о потенциале такого подхода, особенно для немых людей. Работа группы, возглавляемой Калифорнийским университетом (Беркли), опубликована в журнале .
Процесс, лежащий в основе волшебства
Исследование проводилось на выборке из 29 пациентов, находившихся под наблюдением врачей в связи с повторяющимися эпилептическими припадками. Для сбора точных данных о мозговой активности непосредственно на поверхность их мозга были вживлены электроды. Во время прослушивания песни Pink Floyd «Another Brick in the Wall» эти устройства регистрировали электрическую активность, исходящую из различных областей мозга, отражая то, как каждый пациент воспринимал и обрабатывал песню.
После сбора данных они анализировались с помощью алгоритмов искусственного интеллекта. Они интерпретировали электрические сигналы для воссоздания звуковой версии песни, воспринимаемой мозгом участников. Хотя эта реконструкция не полностью воспроизводила оригинальную песню, она давала звуковую версию, отражающую сложность мозговых процессов, связанных с прослушиванием музыки.
В пресс-релизе Белье отметил, что в ходе исследования были выявлены новые области мозга, участвующие в распознавании ритма, например, гитарного звука, и установлено, что отдельные участки слуховой коры — в верхней височной извилине, расположенной сразу за и над ухом, — реагируют на начало звучания голоса или синтезатора, а другие участки — на продолжительные звуки. Исследователи также подтвердили, что правая сторона мозга более чувствительна к музыке, чем левая.
Ниже представлена исходная композиция после несложной обработки, позволяющей оптимально сравнить ее с последовательностью, сгенерированной ИИ:
Аудиоплеер
Используйте клавиши вверх/вниз, чтобы увеличить или уменьшить громкость.
Ниже приведен звук, сгенерированный ИИ на основе спектрограммы:
Аудиоплеер
Используйте клавиши вверх/вниз, чтобы увеличить или уменьшить громкость.
Почему Pink Floyd?
Выбор песни Pink Floyd «Another Brick in the Wall» в качестве центрального элемента данного исследования не случаен. Песня известна своим музыкальным богатством, сочетающим сложные аккорды, разнообразные инструменты и множество ритмов.
Эти элементы дают плотный и разнообразный материал для анализа, позволяющий глубоко изучить реакцию мозга на разнообразные музыкальные стимулы. У человека эти музыкальные элементы, известные как просодия — ритм, ударение, интонация, — несут в себе смысл, которого нет в словах.
Следует также отметить, что в этом выборе сыграло роль и личное предпочтение исследователей к группе Pink Floyd, что свидетельствует о всеобщей признательности и влиянии этой группы на музыкальный мир.
За пределами музыки
Основной целью исследования было изучение способности декодировать музыку по волнам мозга. Однако последствия этого исследования выходят за пределы простой области музыки. Человеческая речь, как и музыка, богата нюансами и вариациями. В ней присутствуют такие элементы, как темп, определяющий скорость речи, или ударение, выделяющее определенные слоги или слова.
Кроме того, акценты и интонации играют важнейшую роль в передаче эмоций и намерений в речи. Если мы сможем декодировать эти нюансы с помощью мозговых волн, это откроет путь к созданию имплантируемых декодеров речи. Такие устройства могли бы, например, помочь немым людям общаться более естественно и выразительно.
Если бы интерфейс «мозг-компьютер» был способен воссоздавать речь с беспрецедентной эмоциональной точностью, то люди, использующие эти интерфейсы, могли бы не только формулировать предложения, но и передавать чувства и нюансы, которые их сопровождают. Таким образом, простое «Я тебя люблю» не будет просто признанием, а будет наполнено всей страстью, остротой или нежностью, которые человек хочет выразить, что открывает до сих пор неизведанные возможности общения.
Будущие исследования
Несмотря на многообещающие успехи, путь к широкому применению все еще усыпан подводными камнями. Одним из основных ограничений существующей технологии является необходимость вживления электродов непосредственно в поверхность мозга для получения точных электрических записей. Эта инвазивная процедура сопряжена с риском, включая инфицирование, кровотечение и побочные реакции, и требует деликатного хирургического вмешательства.
Кроме того, как объясняют исследователи, используемые сегодня интерфейсы «мозг-машина», помогающие людям общаться, когда они не могут говорить, могут декодировать слова, но предложения получаются роботизированными, как у Стивена Хокинга, когда он использовал устройство, генерирующее речь.
Однако в настоящее время изучаются менее инвазивные альтернативы. Ведутся исследования по повышению чувствительности внешних электродов, которые могут быть размещены на коже головы, или по изучению других методов визуализации мозга.