Визуализация музыки: от традиционных подходов к современным интерфейсам

Предисловие: предлагаю познакомиться с моей магистерской диссертацией о радиальной драм-машине. Особенно обратите внимание на раздел о визуализации ритма. Также просмотрите несколько более научный обзор литературы о визуализации и музыкальном образовании. А в этой статье я рассматриваю ценность видеоигр в музыкальном образовании.

Процесс электронного написания и сочинения музыки включает в себя работу не только слуховых, но и зрительных органов. Отображение данных в таких аудиоредакторах, как Pro Tools и Ableton Live носит чисто информационный характер – это волны, сетки и линейные графы. Некоторые системы визуализации исключительно декоративные, например, iTunes, который создает психоделическую наполовину случайную графику. Также существуют системы, которые представляют собой нечто среднее. Я вижу большой потенциал в таких графических системах, мне кажется, они могут помочь лучше понять принцип действия музыки и найти новые оригинальные композиционные приемы. В этой статье я предлагаю вашему вниманию подборку наиболее интересных систем визуализации музыки, с которыми я когда-либо сталкивался.

Нотная запись

Западная нотная запись – традиционный многовековой способ визуализации музыки. Это очень стройная и сжатая система, четкая и символичная, к тому же, ее несложно освоить. Такие программы, как Sibelius, могут без труда переводить музыкальную нотацию в MIDI-данные и обратно.

Но западная нотная запись имеет ряд ограничений, особенно в отношении современной музыки. Ее неудобно применять в работе с микротонами. Она обладает ограниченной возможностью выражать исполнительские нюансы – за сто лет существования джаза для обозначения свинга не было придумано ничего лучше, чем просто написать слово «свинг» в верхней части партитуры. Система ключей хорошо работает для мажорных тональностей, но не так хорошо для минорных тональностей и при работе с музыкальными ладами, а если речь идет о блюзе, то применять ее совершенно бесполезно.

Хочу поделиться предположением, как нотная запись может усовершенствоваться в будущем. Это созданная Джоном Снайдалом (Jon Snydal) визуализация соло Джона Колтрейна (John Coltrane) в песне Майлза Дэвиса (Miles Davis) All Blues (я немного отредактировал, чтобы зрительно легче воспринималось).

Визуализация Снайдала больше аналоговая, чем цифровая – она отражает точные нюансы исполнения Колтрейна, с едва различимыми оттенками высоты тона, тайминга и динамики.

MIDI-секвенсоры предлагают осуществлять дальнейшие усовершенствования, выходя за пределы стандартной нотной записи. Обратите внимание на упрощенный электронный музыкальный секвенсор под названием iNudge. Попробуйте, это забавно.

Вот как выглядит мелодия Thelonius Monk «Four In One» в стандартном режиме нотного стана в MIDI-секвенсоре. Прямоугольники показывают не только то, какие ноты были проиграны и когда, но и их точную продолжительность. Красные прямоугольники потемнее означают, что громкость была выше, а розовые прямоугольники посветлее – тише. Также вы можете считать показатели громкости на панели внизу.



MIDI-система очень функциональна и удобна в использовании. Она может фиксировать ваши движения на клавиатуре, вы можете импортировать партитуры, у вас даже есть возможность рисовать ноты прямо на экране (мой любимый метод).

MIDI-плеер Music Animation Machine имеет ряд замечательных видео, совмещающих визуальное представление MIDI-дорожки с аудиозаписями классических произведений. Вот, к примеру, небезызвестная Токката и Фуга Ре-минор Баха.



Поскольку способность программного обеспечения извлекать данные из современных аудиозаписей постоянно совершенствуется, вы можете начать управлять ими с такой же легкостью, что и MIDI. Это скриншот программы коррекции тона Melodyne, которая очень похожа на Auto-tune.

Линии отображают уже пропетые ноты, а оранжевые капли показывают ноты, которые должен взять певец, по мнению программы. Толщина капли отображает уровень громкости. Вы можете перетаскивать капли и перерисовывать линии, как вам захочется, чтобы переделать песню в соответствии со своим настроением. Программа Melodyne может даже расшифровать и перезаписать проигрываемую мелодию в формате нотного стана и MIDI.

Высокие и низкие частоты

Принято, что более высокие частоты должны пространственно отображаться «выше», а более низкие – «ниже». Это кажется очень разумным, но на самом деле они могут отображаться совершенно произвольно и даже не соотноситься с физическим исполнением. На пианино высокие ноты находятся справа, а низкие слева. На гитаре «низкая» струна E физически находится над «верхней». Для духовых инструментов игра на нижних и верхних нотах также не соотносится с их физическими координатами.

Абсолютная высота тона отображается поступенно по восходящей, но высотный класс отображается по кругу. Самое правдоподобное изображение пространственной организации тона – это спираль.

Другие способы смоделировать соотношение тонов

Высокие и низкие – это не единственные образные определения, которые мы используем для обозначения быстрых и медленных вибраций. Как я уже сказал, высотный класс выражается окружностью.

Но на самом деле окружность лишь заменяет определения «вверх/вниз» на «по часовой стрелке/против часовой стрелки». Существуют другие способы изобразить тон. Мы интуитивно пытаемся изменить подход и представить их, как движения ближе и дальше или внутрь и наружу. Также мы задумываемся о том, чтобы сделать более высокие тона ярче, а низкие темнее. Некоторые из тех, кто играет на струнных музыкальных инструментах, иногда специально настраивают верхнюю струну чуть выше, чем нужно, чтобы создать эффект, известный как «блеск».

Время

Общая договоренность – обозначать в нотной записи время слева направо. Но это не единственно возможное направление. Я имею в виду парадигму, которая предлагается в таких ритмических играх, как Dance Dance Revolution и Guitar Hero. Безупречная реализация этой концепции принадлежит игре под названием FreQuency.



Игра даже позволяет создавать свои собственные ремиксы.



Мне нравится такая «тоннельная» метафора, и мне хотелось бы увидеть ее распространение в развитой среде производства.

Волны

Колебания тона представляют собой синусоидальные (гармонические) вибрации, и вы можете визуализировать их таким образом:

Синусоидальные колебания не особенно полезны для нотной записи. Но они действительно помогут вам с научной точки зрения разобраться в том, что происходит, когда вы что-то слышите физически. Еще лучше наблюдать это в анимации:

Посмотрите на все анимированные мембраны барабанов в Wikipedia.

Волновые формы отображения звука

Аудиоредакторы отображают музыку, как амплитуду колебаний волн, используя капли, которые становятся шире, когда звук становится громче. Перед вами барабанная сбивка (Funky Drummer break), созданная с помощью редактора ReСycle. Голубые капли показывают удары барабана. Интенсивность капель не содержит обширных сведений о музыкальных параметрах, она показывает только продолжительность и громкость. Но ReСycle был создан для моделирования барабанных сэмплов, для которых время и громкость – единственная действительно важная информация.

Это график, который я нарисовал, чтобы показать, как вы воспринимаете эту композицию циклически.

В своей статье на Design Observer Роб Уолкер (Rob Walker) говорит о волновых колебаниях, как о музыкальном эталоне, который постепенно заменяет традиционные «восьмушки» [в системе традиционной нотной записи – прим. перев.] или другие форматы записи, которые уже отслужили свое. Плеер на сайте SoundCloud использует привлекательные волновые графики, которые помогают слушателю следить за местом прослушивания песни, наблюдая пики громкости. На SoundCloud даже существует группа, которая называется Pretty Waveforms.

Волновая форма колебания тона имеет тенденцию движения от чистой функциональности в сторону дизайна. Джошуа Дистлер (Joshua Distler) создал концепцию оформления обложки альбома Bjork, где каждая песня представлена в виде звуковой волны.

Теория музыки и сети

Я всегда считал, что было бы здорово использовать сети для визуализации теории музыки и даже предпринял несколько попыток это сделать. Здесь представлено сравнение круга полутонов и квинтового круга, которые друг для друга являются разверткой.

Это схема аккордовой последовательности в песне Giant StepsДжона Колтрейна.

Ниже изображена структурная схема, которая показывает, каким алгоритмом вы можете воспользоваться, чтобы разобраться, какой именно лад и тональность вы слышите.

Было бы гораздо круче иметь больше абстрактных трехмерных интерактивных визуализаций, которые показывали бы, как функционируют аккорды, тональности и мелодии. Леонард Эйлер продемонстрировал способ отображения тональной гармонии в качестве пространственной решетки в форме тора, как показано на этой анимации. Красные линии обозначают большие терции, зеленые обозначают малые терции, а голубые отображают квинты.

У меня есть честолюбивые замыслы в этой области, но мне не хватает навыков программирования, чтобы их реализовать. Хотя другие серьезно продвигаются в этом направлении. Дмитрий Тимошко (Dmitri Tymoczko) произвел фурор, опубликовав в Science свою первую связанную с музыкой статью о своих топологических методах визуализации тональной гармонии. Я не могу до конца разобраться в его идеях, но они кажутся мне интригующими.



Это иллюстрации Анируда Пателя (Aniruddh Patel) из его статьи «Язык, Музыка, Синтаксис и Мозг». И снова, я не совсем четко понимаю, что все это значит, но планирую попозже разобраться.

Другие теоретики предпринимали попытку использовать цвет для отображения гармонической функции. Скрябин, к примеру, для этого изобрел «световую клавиатуру», хотя она так и не стала пользоваться популярностью.

Визуализация музыкальных форм и структур

В работе над песней мне нравится использовать простое цветовое кодирование, чтобы различать ее отрезки. Я использую желтый для вступления и концовки, голубой для основной темы, зеленый для припева и оранжевый для инструментов и брейкдауна.

Эдвард Тафти (Edward Tufte) демонстрирует некоторые более изощренные методы визуализации структуры песни на своем форуме:

Проект Мартина Ваттенбурга (Martin Wattenburg) Shape of Song показывает повтор в пределах одной музыкальной композиции. Вот его визуализация песни Мадонны Like a Prayer.

А это визуализация Ваттенберга для композиции «К Элизе» Бетховена.

Еще варианты

Далее приведу увлекательное видео Никласа Роя (Niklas Roy) в котором показывается, как вы можете создать модный аудиоряд на драм-машине, используя двоичный счет.



А разве эта графическая цветная система не является крутой нотной записью или интерфейсом?

На Visual Complexity представлено очень много идей наподобие этой.

Вдобавок

Джон Кловер (John Clover) рассказал мне об этом посте, который сильно перекликается с моим: «Потрясающая визуализация музыки и обучение музыке».

У меня была возможность сыграть несколько песен Bjork из альбома/проекта Biophilia. Визуализация некоторых из их очень оригинальна и интерактивна, некоторые из песен визуализированы просто интересно, но традиционно, а визуализация некоторых непонятна, но заслуживает внимания за креативность. В любом случае это примечательный эксперимент который, я думаю, окажет влияние на принципы визуализации музыки.



Источник: habrahabr.ru/company/audiomania/blog/235339/