Новый алгоритм в режиме реального времени создает эффект портамента между любыми двумя аудиосигналами.
Музыканты применяют эффект, называемый «портаменто», чтобы двигаться между нотами. Это техника плавного перехода с одной ноты на другую, минуя конкретные промежуточные звуки.
Более двухсот лет музыканты применяют порtamento. Но только определённые инструменты способны воспроизвести его: те, которые позволяют непрерывно изменять высоту звука, такие как скрипка или человеческий голос.
Студент из Массачусетского технологического института Тревор Хендерсон создал алгоритм, производящий эффект связывания звуковых сигналов в режиме реального времени.
Алгоритм демонстрировал свои возможности, соединяя разные звуковые фрагменты: например, одну песню с другой или фортепианную ноту, мягко переходящую в человеческую речь.
Как работает алгоритм?
Алгоритм строится на многовековой геометрической основе, называемой «оптимальный транспорт». Каркас устанавливает наилучшие пути перемещения данных между начальными и конечными конфигурациями. Его применяют в 3D-моделировании, обработке изображений, гидродинамике и компьютерной графике.
Хендерсон применил эту структуру для интерполяции звуковых сигналов. Алгоритм разделяет сигнал на короткие отрезки (примерно 50 миллисекунд) и определяет наиболее эффективный способ перехода высот в отдельных отрезках к соответствующим высотам в другом звуковом сигнале.
Алгоритм создает плавный эффект перемещения, не теряя точности звука при смене сигнала.
Эффекты затухания применяют для плавности переходов между звуковыми сигналами.
Новый алгоритм плавно объединяет фрагменты с разной частотой из разных аудиосигналов, сохраняя уровень их громкости.
Данная техника применяется к разным инструментам, включая многоголосные. Ею можно переходить между наборами инструментов и любыми другими парами звуковых сигналов. В режиме реального времени она создаёт чёткие музыкальные эффекты.
Значение параметра интерполяции регулируется с помощью ползунка, подобного кроссфейдеру на микшере ди-джея. Перемещение ползунка меняет параметр, создавая эффект портаменто.
Хендерсон устранял искажения с помощью «переназначения частоты» и единой обработки сигналов, что позволяло отдельным нотам свободно переходить между ними. Также он разработал метод синтеза новых фаз для каждого сигнала при объединении небольших аудио-сегментов, чтобы соседние не мешали друг другу.
В своей следующей работе Хендерсон попробует вернуть результат портманто на исходный пункт.
Это возможно создаст иной эффект — легато, которое предполагает плавное, беспрерывное движение между разными нотами.
Источник: