Visualización musical: desde enfoques tradicionales hasta interfaces modernas

Prefacio: Sugiero conocer la tesis de mi maestro en la batería radial. Preste especial atención a la sección sobre visualización de ritmo. Vea también una revisión algo más científica de la literatura sobre visualización y educación musical. En este artículo, discuto el valor de los videojuegos en la educación musical.

El proceso de escritura electrónica y composición de la música incluye el trabajo no sólo auditivo, sino también órganos visuales. La visualización de datos en editores de audio como Pro Tools y Ableton Live es puramente informativo en la naturaleza, son ondas, rejillas y gráficos lineales. Algunos sistemas de visualización son excepcionalmente decorativos, como iTunes, lo que crea gráficos psicodélicos de medio aleatorio. También hay sistemas que están entre sí. Veo un gran potencial en estos sistemas gráficos, creo que pueden ayudar a comprender mejor el principio de la música y encontrar nuevas técnicas originales de composición. En este artículo, le ofrezco una selección de los sistemas de visualización musical más interesantes que he encontrado.

La grabación de música occidental es una forma tradicional de visualizar música de siglos. Este es un sistema muy esbelto y comprimido, claro y simbólico, además, es fácil de dominar. Programas como Sibelius pueden traducir fácilmente la notación musical en datos MIDI y volver a hacerlo.

Pero la música occidental tiene una serie de limitaciones, especialmente con respecto a la música contemporánea. No es conveniente utilizar en el trabajo con microtones. Tiene una capacidad limitada para expresar matices de ejecución - en los cien años de jazz, nada mejor ha sido inventado para denotar swing que simplemente escribir la palabra "swing" en la parte superior de la partitura. El sistema clave funciona bien para claves importantes, pero no tan bien para llaves menores y cuando trabaja con modos musicales, y cuando se trata de blues, es completamente inútil utilizarlo.

Quiero compartir contigo una idea de cómo puede mejorar la música en el futuro. Esta es una visualización del solo de John Coltrane por Jon Snydal en Miles Davis' All Blues (He editado un poco para hacerlo más fácil de ver).

La visualización de Snydal es más analógica que digital - refleja los matices exactos de la actuación de Coltrane, con tonos apenas discernibles de campo, tiempo y dinámica.

Los secuenciadores MIDI ofrecen nuevas mejoras más allá de la notación estándar. Tenga en cuenta un secuenciador de música electrónica simplificado llamado iNudge. Pruébalo, es gracioso.

Esto es lo que la melodía de Thelonius Monk "Four In One" parece en el modo estándar de secuenciación MIDI. Los rectángulos muestran no sólo qué notas se jugaron y cuándo, sino también su duración exacta. Los rectángulos rojos más oscuros significan que el volumen era más alto, y los rectángulos rosa más ligeros – más tranquilo. También puede leer el volumen del panel en la parte inferior.



El sistema MIDI es muy funcional y fácil de usar. Puede capturar sus movimientos en el teclado, puede importar puntajes, incluso tiene la capacidad de dibujar notas directamente en la pantalla (mi método favorito).

MIDI player Music Animation Machine cuenta con una serie de vídeos maravillosos que combinan la representación visual de la pista MIDI con grabaciones de audio de obras clásicas. Aquí, por ejemplo, el famoso Toccata y Fuga Re-minor Bach.



Como la capacidad del software para extraer datos de las grabaciones de audio de hoy está mejorando continuamente, puede empezar a gestionarlos con la misma facilidad que MIDI. Esta es una captura de pantalla del programa de corrección de tono Melodyne, que es muy similar a Auto-tune.

Las líneas muestran ya notas cantadas, y las gotas de naranja muestran notas que el cantante debe tomar, según el programa. El espesor de la gota muestra el nivel de volumen. Puedes arrastrar las gotas y enrojecer las líneas como quieras rehacer la canción para que se adapte a tu estado de ánimo. El programa Melodyne puede incluso descifrar y volver a grabar la melodía tocada en el formato de un soporte musical y MIDI.

Frecuencias altas y bajas Se acepta que las frecuencias superiores deben mostrarse espacialmente "arriba", y frecuencias inferiores - "bajo". Esto parece muy razonable, pero de hecho pueden ser exhibidas completamente arbitrariamente y ni siquiera correlacionadas con el rendimiento físico. En el piano, las notas altas están a la derecha y baja a la izquierda. En la guitarra, la cuerda "low" E está físicamente por encima de la "top". Para los instrumentos de viento, jugar las notas inferiores y superiores tampoco está relacionado con sus coordenadas físicas.

La altura absoluta del tono se muestra gradualmente en el ascenso, pero la clase de alta altitud se muestra en un círculo. La representación más plausible de la organización espacial del tono es la espiral.

Alto y bajo no son las únicas definiciones figurativas que utilizamos para referirse a vibraciones rápidas y lentas. Como dije, una clase de alta altitud es expresada por un círculo.

Pero de hecho, el círculo sólo reemplaza la definición de “up/down” con “anchura/contraseña”. Hay otras formas de pintar el tono. Intuitivamente, tratamos de cambiar la forma en que nos acercamos a ellos e imaginamos que se están moviendo más cerca, más allá o hacia dentro y hacia afuera. También estamos pensando en hacer tonos más altos más brillantes y más oscuros tonos inferiores. Algunos de los que tocan instrumentos musicales encadenados a veces sintonizan especialmente la cuerda superior un poco más alta de lo que necesita para crear un efecto conocido como "pendiente".

El acuerdo general es denotar el tiempo de izquierda a derecha en la notación. Pero esta no es la única dirección posible. Me refiero al paradigma que se ofrece en juegos rítmicos como Dance Revolution y Guitar Hero. La aplicación perfecta de este concepto pertenece a un juego llamado FreQuency.



El juego incluso te permite crear tus propios remixes.



Me gusta esta metáfora de "túnel", y me gustaría ver que se diseminó en un entorno de fabricación avanzado.

Las olas del tono son vibraciones sinusoidales (armónicas) y pueden visualizarlas de esta manera:

Las oscilaciones sinusoidales no son particularmente útiles para la notación. Pero sí te ayudan a entender científicamente lo que pasa cuando escuchas algo físicamente. Es incluso mejor verlo en la animación:

Echa un vistazo a todas las membranas de tambor animados en Wikipedia.

Los editores de audio muestran la música como la amplitud de las vibraciones de onda, utilizando gotitas que se ensanchan a medida que el sonido se pone más alto. Aquí hay un golpe de tambor (Funky Drummer break), creado con el editor ReCycle. Las gotas azules muestran batidos de tambor. La intensidad de las gotas no contiene información extensa sobre los parámetros musicales, sólo muestra la duración y el volumen. Pero ReCycle fue creado para simular muestras de tambor, para las cuales el tiempo y el volumen son la única información realmente importante.

Este es un gráfico que dibujé para mostrarte cómo percibes esta composición cíclicamente.

En su artículo sobre el Observador de Diseño, Rob Walker habla de fluctuaciones de onda como un referente musical que está reemplazando gradualmente los tradicionales “ocho” u otros formatos de grabación que ya han servido a su propósito. El reproductor del sitio web de SoundCloud utiliza tablas de ondas llamativas que ayudan al oyente a hacer un seguimiento de la ubicación de la escucha de la canción, observando picos de volumen. SoundCloud tiene una banda llamada Pretty Waveforms.

La forma de onda de fluctuación de tono tiende a pasar de la funcionalidad pura al diseño. Joshua Distler creó el concepto de cubierta Bjork, donde cada canción está representada como una onda de sonido.

Siempre he pensado que sería genial usar redes para visualizar la teoría de la música e incluso han hecho varios intentos de hacerlo. Aquí hay una comparación de un círculo de semitonas y un círculo de quintes, que para el otro son un barrido.

Este es un esquema de secuencia acorde en la canción Giant Steps de John Coltrane.

A continuación se muestra un diagrama estructural que muestra qué algoritmo puedes usar para averiguar qué tipo de humor y tonalidad escuchas.

Sería mucho más genial tener visualizaciones interactivas tridimensionales más abstractas que muestren cómo funcionan los acordes, tonos y melodías. Leonard Euler demostró una manera de mapear la armonía tonal como una celosía espacial en la forma de un toro, como se muestra en esta animación. Líneas rojas denotan grandes tercias, líneas verdes denotan pequeñas tercias, y líneas azules denota.

Tengo ambiciones en esta área, pero me faltan las habilidades de programación para implementarlas. Otros están progresando seriamente en esta dirección. Dmitri Tymoczko hizo un brote cuando publicó su primer documento relacionado con la música en sus métodos topológicos de visualizar la armonía tonal en la ciencia. No puedo entender completamente sus ideas, pero me parecen intrigantes.

//player.vimeo.com/video/20301089

Estas son ilustraciones de Aniruddh Patel de su artículo “Idioma, Música, Sintaxis y Cerebro”. De nuevo, no estoy seguro de lo que significa esto, pero planeo averiguarlo más tarde.

Otros teóricos han intentado utilizar el color para representar una función armónica. Scriabin, por ejemplo, inventó el “clase de luz” para este propósito, aunque nunca se hizo popular.

Al escribir una canción, me gusta usar codificación de color simple para distinguir sus segmentos. Uso amarillo para la introducción y el final, azul para el tema principal, verde para el coro y naranja para los instrumentos y la degradación.

Edward Tufte demuestra algunos métodos más sofisticados para visualizar la estructura de canciones en su foro:

El proyecto Shape of Song de Martin Wattenburg presenta una repetición dentro de una sola composición musical. Aquí está su visualización de la canción de Madonna como una oración.

Y esta es una visualización de Wattenberg para Beethoven's To Elise.

A continuación, citaré un vídeo fascinante de Niklas Roy, que muestra cómo puedes crear una secuencia de audio de moda en una máquina de tambor utilizando una cuenta binaria.

//player.vimeo.com/video/1639345

¿No es este sistema de color gráfico una notación fresca o una interfaz?

La complejidad visual tiene muchas ideas como esta.

Además, John Clover me habló de este post, que se hace eco de la mía: “Una impresionante visualización de la música y el aprendizaje de la música. ”

Tuve la oportunidad de tocar algunas canciones de Bjork del álbum/proyecto Biophilia. La visualización de algunos de ellos es muy original e interactiva, algunas de las canciones se visualizan simplemente interesantes, pero tradicionales, y la visualización de algunas es incomprensible, pero merece atención por la creatividad. De todos modos, es un experimento notable que creo que tendrá un impacto en los principios de la visualización musical.



Fuente: habrahabr.ru/empresa/audiomania/blog/235339/