Визуализация музыки в XXI веке: от Animusic до музыкальной шкатулки

Шведский музыкант-изобретатель создал инженерное произведение искусства, музыкальный автомат-оркестр, подобный сцене Pipe Dream из визуализации Animusic.

Компьютерные музыкальные визуализации видел каждый — летающие геометрические фигуры в музыкальных плеерах или танцующие трёхмерные девушки-вокалоиды. Подобные визуализации реагируют лишь на интенсивность звуковых частот и слабо раскрывают суть играющей музыки.

Визуализаторы из Анимьюзик (Animusic; по-русски: живая музыка) в начале 2000-х поступили иначе — они нарисовали для каждой из мелодии выразительные «механические пианино», трёхмерные сцены, где на схематичных инструментах играют механические пальцы, и связали движения сцены с воспроизведением MIDI-файла, содержащего мелодию для этих инструментов.

Для справки, MIDI-формат является альтернативой записи музыки как последовательности звуковых волн, которая получила распространение в конце XIX века с изобретением фонографа, затем патефона/граммофона, магнитофона и до сих пор наиболее употребима (современные компьютерные форматы WAW, MP3, OGG и т.п. — это продвинутые аналоги грампластинки). В отличие от них, MIDI — это, фактически, компьютерный файл с нотной записью мелодии для каждого из инструментов, аналог барабана в музыкальной шкатулке или перфоленты в механическом пианино. Понятно, что из нотной записи поведение сцены извлечь проще, нежели из записи нерасчленённых звуковых волн. Однако таким образом проблематично записать голос (хотя те же вышеупомянутые вокалоиды как раз представляют собой подобную попытку).

Самой запоминающейся сценой из анимации Анимьюзик была сцена «Несбыточная мечта» (Pipe Dream; тут игра слов: pipe ведь ещё и труба, из которых построена сцена). Это была единственная сцена которая вошла и в первую (2001 год), и во вторую (2005 год) компиляцию видеороликов Анимьюзик:


Шведский музыкант и изобретатель Мартин Мулин, лидер группы «Млечный путь» (Wintergatan) под впечатлением старинных музыкальных автоматов и явно под впечатлением визуализаций Анимьюзик создал музыкальный автомат-шарикоподъёмник (marble machine). Построенный за 14 месяцев (процесс постройки заснят на видео) автомат-оркестр состоит из виброфона, барабана, металлофона, бас-гитары, тарелки, содержит около 3 тысяч деревянных деталей и 2 тысячи металлических шариков. Получилась функциональная кинетическая скульптура, достойный ответ виртуальности:


Увлечение музыкальными шкатулками не спонтанное — несколько композиций созданной Мартином в 2013 году группы «Млечный путь» построены вокруг маленькой музыкальной шкатулки, управляемой перфолентой. Сама группа сочетает в своих композициях элементы народной и электронной музыки. Рекомендую послушать их концерт — лично мне очень понравилось.

Надо сказать, это не первая попытка воплотить «в железе» визуализацию Анимьюзик. В 2011 году 2 инженера-робототехника за 3 месяца сделали роботизированную реплику той же сцены «Несбыточная мечта» для выставки компании Intel (как реклама процессоров Intel Atom):


Реплика, кстати, достаточно честная. Звук инструмента проигрывается только если сенсор на пластиковом лепестке чувствует удар от пейнтбольного шарика.

Однако создание Мартина Мулина выигрывает у роботизированного оркестра по ряду параметров. Не пытаясь дословно воспроизводить сцену и использовать пневматику, музыкальный автомат Мулина содержит настоящие музыкальные инструменты и честно собирает и перезаряжает шарики. А главное — это полностью механическая машина.

Источник: geektimes.ru/post/272184/