El futuro de 3D-sonido

la tecnología de audio moderna puede cambiar radicalmente nuestra comprensión de los juegos de ordenador, música y películas i> h5>
No puedo creer lo que oía. Tomé un cubo gris ordinaria en la cabeza y estaba dispuesto a jurar que oyen de ella la música instrumental se escucha - como si fuera un pequeño altavoz. Los sonidos del violín de repente se hizo muy fuerte cuando el cubo está cerca de su oído y se calmaron cuando él se apartó de distancia.

Si el cubo se colocó detrás de mí, parecía que le di la espalda al cuarteto de cuerda. Cuando pasé un cubo en la cabeza en él corrió escalofríos, y parecía que la música juega desde arriba. Pero por sí mismo es el cubo en silencio. Música podía oírse a través de los auriculares, y cuando me los quité - todos la ilusión desapareció
.
Estoy en la sala grande de TI-incubadora de la Universidad de Maryland, donde un equipo de unas VisiSonics de inicio, que consta de ocho personas. Fueron ellos los que creó el software que celebró mi cerebro, lo que le causó escuchar 3D-sonido a través de auriculares. Cubo gris, que tengo en mi mano, está conectado a un dispositivo para controlar su ubicación con respecto a la cabeza.

Tecnología RealSpace 3D, VisiSonics desarrollados, utiliza datos espaciales del sistema de seguimiento para procesar la música, por lo que parece como si venía del cubo. Esta demo muestra simplemente que el software diseñado capaz de engañar a tu cerebro en realidad - es sorprendentemente lo que yo había olvidado por completo de los auriculares.



Investigación Ramani Duraisvami (Ramani Duraiswami) ayudé a crear software que reproduce con exactitud el 3D-audio a través de auriculares. Reproducir con exactitud 3D-audio puede ser mediante la medición de función de transferencia característica individual de una cabeza de llamada (HRTF), que normalmente tarda 2-3 horas. El prototipo desarrollado Duraisvami, que se encuentra Zotkina Elena es capaz de medir la HRTF de unas pocas decenas de segundos, i>

Este efecto, que en VisiSonics tienen altas expectativas. La compañía espera desarrollar motor de audio para juegos, que se utilizarán para crear una realidad virtual o aumentada. Puedo decir que la tecnología ya ha dado un gran paso en esa dirección. Oculus VR, no hace mucho tiempo compró Facebook, en octubre pasado, ha licenciado para su pantalla montada en la cabeza RealSpace 3D Oculus Rift, y lo hizo a la lista de herramientas de desarrollo de software de audio Oculus.

VisiSonics también negociar con otras empresas. "El objetivo de 3D-gran sonido - hacer escuchar música a través de auriculares que se cree que no los tiene", - dice Ramani Duraisvami, uno de los fundadores y la informática profesor en la Universidad de Maryland en College Park.

Pero la empresa no tiene intención de parar en los videojuegos y la realidad virtual. "Cuando la gente usa los auriculares - estaremos allí para cambiar completamente su punto de vista del sonido," - añadió Duraisvami
.
Percibimos nuestra capacidad para escuchar el sonido en tres dimensiones por sentado - incluso con los ojos cerrados, se puede determinar la posición de la fuente de sonido. El cerebro interpreta el sonido es sorprendentemente buena entrada en nuestros oídos, que actúan como micrófonos separados espacialmente. Esto significa que utiliza un diferentes parámetros de la señal, como el retraso entre la recepción de la misma en la oreja derecha y la izquierda, para determinar de qué lado viene el sonido. Repita este efecto con el uso de los auriculares no es fácil.

Para conseguir el efecto de 3D-sonido puede ser simplemente en torno a un gran número de oradores. Este enfoque es utilizado por muchos teatros, pero con auriculares, este truco no funciona. El florecimiento de los dispositivos móviles significa que muchos de nosotros están jugando juegos de computadora, escuchar música y ver películas, utilizando auriculares y VisiSounds software puede reproducir 3D-sonido desde cualquier dispositivo.

Imagínese cómo usted escucha a Beethoven de 9 en tu móvil, y sientes que estás sentado en los mejores asientos en el teatro, escuchar una actuación en directo. O imaginar el horror mientras ve en su iPad, de repente se empieza a oír los pasos de el villano detrás de ella.


Una de la primera demo, que creó Haxton varilla (Rod Haxton), para mostrar las posibilidades de la tecnología RealSpace 3D i>

Los ingenieros han tratado de reproducir el efecto de 3D-sonido durante un siglo. La mayor parte de este tiempo, los científicos utilizaron una cabeza de maniquí con un micrófono en cada oído para el sonido, tratando de crear un modelo de una cabeza humana.

VisiSonics encontraron una manera de deshacerse del maniquí y ahora utilizan el software. Determinamos la fuente del sonido, girar la cabeza en diferentes direcciones. En una realidad virtual o aumentada, es importante no sólo para localizar la fuente del sonido, pero bastante plausible para cambiar el sonido dependiendo de la posición de la cabeza. Cuando se gira la cabeza, software VisiSonics calcula en tiempo real los parámetros de los cambios de sonido -. Esto crea el efecto de inmersión total

El software también tiene en cuenta las características de la habitación, determinar el comportamiento del sonido en el espacio. Se oye no sólo el sonido, sino también sus múltiples reflejos de las paredes, muebles y otras cosas en la habitación. Reverberación de sonido ocupan el último lugar en la determinación de la distancia entre la persona y la fuente de sonido y la transferencia de sentimientos de distancia. Según Duraisvami, es la precisión con la que el software recrea la reverberación y lo hace sonar 3D tan natural RealSpace.

El tercer componente importante de software Duraisvami - es la capacidad de recrear cómo interactúa sonido con su cuerpo, incluso antes de entrar en el canal auditivo. Sonido reflejado de manera diferente de la cabeza, el cuerpo y las curvas del oído externo, dependiendo de la posición de la fuente. Los científicos describen esta característica de la función de transferencia de la cabeza o HRTF (HRTF - función de transferencia relacionadas con la cabeza). Si desea volver a crear con precisión el sonido procedente de una dirección determinada, entonces usted tiene que tener en cuenta la HRTF.

Aunque el sonido se procesa VisiSonics, proviene de los auriculares, mi cerebro seguro de que va cubo gris, que tengo en mi mano. «3D-sonido - un" banco de tres patas "- dice Duraisvami. - Si se quita una pierna, luego caerá »
.
Con estos avances en 3D audio-cualquier tipo de música, película o juego pueden jugar un sonido como si realmente están en un campo abierto, una habitación o un concierto acogedora sala. Puede liberar música y películas desde el principio-audio 3D compatible.

Por ejemplo, Björk ha lanzado recientemente un recortar con 3D-sonido (la tecnología utilizada en el video, se ha desarrollado entre los competidores VisiSounds). Cantante en su página en Facebook para describir la sensación de ver un clip: "Usted parece estar en la playa y alrededor de usted denso sentarse alrededor de 30 músicos." , tratando de capturar películas panorámicas con inmersiva, donde toda la acción está sucediendo a tu alrededor, esta tecnología tendrá todo para ser la más plausible.

Durante la última década el componente visual de la realidad virtual ha dado un gran paso hacia adelante, pero el audio comienza a "ponerse al día" en este momento - y justo a tiempo, ya que varias empresas han anunciado recientemente (o ya han liberado) nuevo auricular. "Usted no puede y no debe ser" sumergido "en la realidad virtual a la mitad" - sonríe Duraisvami.

Otra demostración oportunidades RealSpace 3D, elaborado por un desarrollador independiente con plugins VisiSonics, me ayudó a entender por qué necesita Oculus 3D-audio. La primera vez que puse en una pantalla montada en la cabeza, inmediatamente me quería disolver en ella.

Yo estaba de pie en un puente de madera sobre el río, y crecí alrededor de los árboles tropicales. Giré la cabeza para ver la exuberante vegetación del mundo - un sentimiento similar al estudio del rico entorno de los juegos de ordenador, pero en este caso que acaba de sentir como una parte de ella, y este sentimiento se refuerza con sonido RealSpace 3D. Me puse de pie bajo el cielo de la noche abierta en torno a los grillos, y en el mío nada más sacarlo de la corriente de agua que fluye de la chimenea. Cuando volví la cabeza para tener una mejor vista del paisaje, el sonido cambia según sea necesario, manteniendo el pleno sentido de la realidad.

// player.vimeo.com/video/105967316 video>
Esta es una demo con el Oculus Rift me ayudó a entender la importancia de sonido envolvente en el mundo de la realidad virtual i>

VisiSonics también intentó introducir un sonido envolvente en los mundos de juego: la compañía cree que el jugador será capaz de determinar la ubicación de los enemigos en la dirección correcta o en la audiencia. El equipo dio a conocer un plug-in para la Unidad motor de juego RealSpace 3D, y está trabajando para incorporar su tecnología en otros motores. Debido al hecho de que RealSpace 3D se puede utilizar en todas las plataformas (desde el iPhone a las computadoras de alto rendimiento), el software debe proporcionar altos VisiSonics resultado utilizando la potencia de cálculo disponible.

VisiSonics - no es la única compañía que opera en el mercado de 3D-sonido. Entre sus competidores tienen proyectos como Impulsonic y Dos Orejas grandes - pequeños, jóvenes start-ups. Otra de inicio, dedicada a la creación de sonido de la realidad virtual, se llama Thrive Audio y recientemente fue adquirida por Google - es otra señal de la creciente interés en la industria.

Haxton varilla (Rod Haxton), uno de los principales VisiSonics ingeniero, dijo que la competencia - es bueno, y puede contribuir a la aparición de sonido envolvente: "La calidad de sonido - esto es lo que determinará la elección del comprador, así como la facilidad de uso, y cómo la tecnología potencia requerida mucho procesamiento ".

Haxton explica el éxito de VisiSonics software estudio realizado Duraisvami Zotkin y Dmitri, un ingeniero de la Universidad de Maryland, que trabajan en "tiempo parcial". "Todo el mérito y el genio Dmitri Ramani - exclama Haxton. - Va en la magia que no se entiende por los demás »
.
Magia - no es magia, pero Duraisvami Zotkin y se llevaron más de 10 años para llevar la tecnología a la vista apropiada RealSpace 3D, pero resultó más difícil de extraer de ella se benefician. Todo comenzó con la tecnología diseñada para ayudar a los soldados que han perdido la vista.



VisiSonics fue fundada originalmente para la producción de "audiokamery" - un dispositivo conectado a un ordenador portátil en esta imagen i>

Duraisvami comenzó a trabajar en la Universidad de Maryland en 1998 y decidió aplicar sus conocimientos de física y experiencia en ingeniería en el campo de estudio de audio. Al principio, trató de crear una audiosredu artificial para los soldados que han perdido la vista. El objetivo era dar a los soldados la capacidad de sentir prácticamente como "suena" esquina de la calle o de la oficina antes de entrar en el mundo real. Para reproducir los sonidos del entorno, Duraisvami desarrollado "audiokameru" y el software a la misma (que más tarde emigró a RealSpace 3D).

Duraisvami y el estudiante graduado Adam O'Donavan (Adam O'Donovan) VisiSonics fundada hace cuatro años con el objetivo de producir y vender su audiokameru. Pronto se dieron cuenta de que la tecnología de procesamiento creado se puede utilizar para otras cosas, pero les resultó difícil, ya que no estaba claro cómo llegar a los usuarios y las empresas para empezar a utilizar su tiempo de funcionamiento. "Me dijeron que si nos encontramos con" cebo "mejor, las personas llegan para nosotros - dijo Duraisvami. - Pero esto es sólo parte del problema ".

Aunque su tecnología podría tener un efecto en la música o películas en la industria no es tan fácil de romper. Duraisvami cree que la realidad virtual es muy importante: "Nos permite tener una nueva mirada a las cosas familiares para nosotros»
.
Para Duraisvami Era obvio desde el principio que su tecnología funciona bien. Como empresa pequeña ubicada lejos de Silicon Valley, para atraer la atención de unos gigantes de la industria de realidad virtual? "Queríamos empezar a trabajar con Oculus, - dice Duraisvami. - Sabemos que la tecnología es ideal para su uso en la realidad virtual, y nuestro director general Gregg Wilkes (Gregg Wilkes), literalmente, los persiguió ". Se tardó más de un año, estos esfuerzos han comenzado a dar sus frutos.

Haxton, Ingeniero de Software, se unió VisiSonics en 2012, después de años de trabajo en la industria del juego. Fascinado por el potencial de sonido envolvente en los juegos, se preparó apresuradamente un proyecto de presentación, en el que el jugador controla a un enorme conejo. Pero cuando llegó el momento de mostrar el proyecto en la conferencia con una gran cantidad de graves simulaciones militares, reemplazó el carácter conejo con un arma de fuego, rodeado por tanques y helicópteros futuristas - es más propicia. Aunque todavía Haxton añadido a un robot que iba y venía y cantando una canción de MC Hammer «U no puede tocar esto».

Duraisvami colegas demostraron su proyecto en varias conferencias, pero no podían llamar la atención sobre sí mismos. Todo eso cambió cuando llegaron a la Game Developers Conference 2014 en San Francisco. En este espectáculo, no tenían un stand, así que Haxton paseaban el show en una camiseta con las palabras "me preguntan si quieres ver esta presentación para 3D-sonido para juegos", impreso sobre un fondo negro. Mientras tanto, Duraisvami Wilkes y nos pidieron prestado algunos de mesas vacías y tratando de encontrar trabajadores Oculus VR, para mostrarles una presentación. "De hecho, hemos creado una emboscada a estos chicos - dice Duraisvami. - Cuando los chicos de Oculus intentaron VisiSonics, que querían comprar una licencia de nosotros »
.
"Así es como llegamos a esto. Nos gusta la guerrilla, trataron de confiscar cualquier y obligarlo a decirnos lo que queríamos oír, - dice Haxton. - El éxito del equipo en la feria fue un gran avance tremendo »
.


Ramani Duraisvami (izquierda) y Dmitry Zotkin (media) audiosfere trabajado más de 10 años y seguir utilizando sus conocimientos de física y experiencia en ingeniería para mejorar la precisión de la tecnología 3D RealSpace. A la derecha se encuentra Yancheng Luo (Yuancheng Luo), un estudiante graduado que después de su graduación trabajó en VisiSonics i>

Duraisvami continúa trabajando en la medición de la HRTF personal, para que el sonido envolvente más auténtico. Actualmente RealSpace 3D utiliza una HRTF generalizada, que hace frente a su tarea, pero no tiene en cuenta las diferencias en la forma y tamaño de la cabeza y los oídos que afecta la percepción del sonido.

Medición HRTF generalmente toma 2 o 3 horas, pero Duraisvami capaz de reducir el tiempo de unas pocas decenas de segundos. Él dice que su objetivo es la personalización de la música y la percepción del sonido usando HRTF individual.

Con estas y otras ventajas de 3D-sonido y las promesas de realidad virtual para ser mejor y mejor. "Si uno mira hacia atrás 10 o 20 años, vamos a ver los juegos de 8 bits de Atari, - dice Haxton. - La realidad virtual al siguiente nivel, y un pequeño VisisSonics empresa de College Park en Maryland está en el meollo de las cosas ".

Fuente: geektimes.ru/company/audiomania/blog/251530/