Майбутнє 3D звуку

Сучасні аудіотехнології можуть радикально змінити спосіб мислення про комп'ютерні ігри, музику та фільми.
Я не можу вірити вуха. Я використовував, щоб приводити звичайний сірий куб навколо моєї голови, і я був готовий до одягу, я можу почути інструментальну музику, що виходить з неї, як це був крихітний динамік. Звук скрипки раптово став дуже гучним, коли куб був близько до вуха і тихий, як він відійшов.

Якщо куб був за мною, він відчув, як я перевернув назад на рядок квартету. Як я пропустив куб над головою, гусячими вибігають над ним, і здавалося б, що музика грала десь над головою. Але сам куб німий. Музика прийшла через навушники, і коли я знаходився, зникнув всю ілюзію.

Я у великій кімнаті в Університеті Меріленд ІТ інкубатор, де працює вісім-особистісна команда при запуску VisiSonics. Саме вони створили програмне забезпечення, яке перетворило мозок, роблячи його чути 3D звук через навушники. Сірий куб Я тримаю в руках підключений до пристрою, який відстежує своє розташування відносно голови.

Технологія RealSpace 3D розроблена VisiSonics використовує просторові дані від системи відстеження для обробки музики, так що вона, як вона надходить з куба. Ця демонстрація просто показує, що програмне забезпечення, розроблене дійсно здатне завоювати мозок - яскрава річ, що я повністю забули навушники.



Дослідження Рамані Дюраві допомогли йому створити програмне забезпечення, яке точно відтворює 3D аудіо через навушники. 3D аудіо можна точно відтворювати за допомогою вимірювання індивідуальної характерної функції передачі голови (HRTF), яка зазвичай займає 2-3 години. Прототип, розроблений Duraiswami, в якому Elena Zotkina sits, здатний вимірювати HRTF в кілька десятків секунд.

Це ефект, який VisiSonics має високі надії. Компанія сподівається розвивати аудіодвигун для ігор, які будуть використовуватися для створення віртуальної або доповненої реальності. Я можу сказати, що технологія вже зробила великий крок в цьому напрямку. Oculus VR, Нещодавно придбали Facebook, останні жовтень ліцензований RealSpace 3D для свого шолома віртуальної реальності Oculus Rift і додав його до списку інструментів розробки аудіо програмного забезпечення Oculus.

Компанія VisiSonics також веде переговори з іншими компаніями. «Дата великого звучання 3D полягає в тому, що ви не зносите його, коли слухайте музику через навушники», - розповідає Рамані Дурайсвамі, один з засновників компанії та професор комп’ютерної теорії Університету Меріленду в Студентському парку.

Але компанія не має намір зупинитися на комп'ютерних іграх і віртуальній реальності. «Чи люди використовують навушники, ми будемо там повністю змінити їх сприйняття звуку», додає Дурайсвамі.

Ми приймаємо нашу здатність чути звук у трьох розмірах для наданих – навіть із закритими очима, ми можемо визначити позицію джерела звуку. Мозок дивно хороший при інтерпретації звуку, що надходить в вуха, які діють як просторово відокремлені мікрофони. Це означає, що він використовує різні параметри сигналу, такі як затримка між його прибуттям в правий і лівий вуха, щоб визначити, які сторони звук надходить з. Повторюємо цей ефект навушниками непросто.

Ви можете досягти ефекту від 3D звуку просто шляхом розміщення великої кількості спікерів навколо вас. Цей підхід використовується багатьма кінотеатрами, але з навушниками, цей трюк не працює. Підвище мобільних пристроїв означає багато з нас, граючи комп'ютерні ігри, слухайте музику і дивитися фільми за допомогою навушників, і VisiSounds програмне забезпечення здатний грати 3D звук з будь-якого пристрою.

Уявіть прослуховування 9-ї Симфонії Beethoven на мобільний телефон і ви відчуваєте, як ви сидите в кращому місці в театрі, слухайте живу виставу. Або уявіть перегляд фільму жахів на IPad і раптом слухайте стопи вілли позаду спини.


Один з перших демо-демонстраторів, створених Rod Haxton, щоб показати потужність технології RealSpace 3D.

Інженери намагаються відтворити наслідки 3D звуку на століття. Для більшості цього часу науковці використовували голівку з мікрофоном в кожному вусі для запису звуку, намагаючись створити модель людського голови.

VisiSonics знайшов спосіб позбутися від животи і тепер використовують програмне забезпечення. Ми визначаємо джерело звуку, перетворюючи наші голови в різних напрямках. У віртуальній або доповненій реальності важливо не тільки точно визначити джерело звуку, але й бути достатньою для зміни цього звуку в залежності від позиції голови. Коли ви перетворите голову, програмне забезпечення VisiSonics розраховує параметри зміни звуку в режимі реального часу – це створює повноцінний ефект занурення.

Програма також враховує особливості приміщення, що визначає поведінку звуку в просторі. Ви почуєте не тільки сам звук, але і його численні відбиття від стін, меблів і інших речей в приміщенні. Звукообмін не є останнім місцем визначення відстані між особою і джерелом звуку і передачі відчуття відстані. За даними Duraiswamy, це точність, з якою програмне забезпечення відтворює реверберації, що робить RealSpace 3D звук таким природним.

Третя важлива складова програмного забезпечення Duraiswami - це можливість відтворити, як працює звук з вашим тілом, перш ніж він надходить на слуховий канал. Звук відрізняється від голови, тіла і вигинів зовнішнього вуха залежно від позиції джерела. Ця функція називається функцією передачі голови або HRTF (об’єднана функція передачі даних). Якщо ви хочете точно відтворити звук, що надходить з певного напрямку, то ви повинні розглянути HRTF.

Хоча звук, оброблений VisiSonics походить від навушників, мій мозок впевнений, що він походить від сірого куба я тримаю в руці. «A 3D звук – це триногий стіл», – коментує Дунайсвами. Якщо ви прибрати одну таблетку, вона знизиться.

З такими досягненнями в 3D аудіо, будь-яка музика, фільм або гра зможуть грати в звук, як якщо ви дійсно в відкритому грунті, затишний номер або концертний зал. Ви можете виготовити музику і фільми, які підтримують 3D аудіо з початку.

Наприклад, Björk нещодавно випустили панорамний музичний відео з звучанням 3D (технологія, що використовується в кліпі, була розроблена одним з конкурентів VisiSounds). «Я люблю тебе на пляжі, а на вас чекають 30 музикантів.» Фільм-студії, які намагаються зробити захоплюючі панорамні фільми, де всі дії відбуваються прямо навколо вас, буде потрібно цю технологію, щоб зробити все якомога простіше.

За минулий десятиріччя візуальна складова віртуальної реальності займала великий крок вперед, але аудіо починає ловити тільки зараз – і просто в часі, як кілька компаній нещодавно оголошено (або вже випустили) нові гарнітури. «Ви не можете і не повинні бути половинним зануренням у віртуальній реальності», – дурайсумі.

Ще один демо-версія RealSpace 3D, що виробляється незалежним розробником, використовуючи плагіни VisiSonics, допомогли мені зрозуміти, чому Oculus потребує 3D аудіо. Коли я вперше поклав на віртуальну реальність шолом, я відразу хотів зникнути в неї.

Я стояв на дерев'яному місту по річці, і там зростали тропічні дерева. Я дронув голову, щоб побачити пишну рослинність світу – це почуття, схоже, щоб вивчити багате середовище комп'ютерної гри, тільки в цьому випадку ви буквально відчуваєте себе як частина його, і це почуття є тільки посилене звучання RealSpace 3D. Я стояв у відкритому нічному небі, крикети ратили навколо, а потік води падає з труби направо. Як я повернув голову, щоб ближче подивитися на пейзажі, звук змінив шлях, що потрібно для того, щоб зберегти повне почуття реальності.

//player.vimeo.com/відео/105967316
Цей Oculus Rift демо допоміг мені зрозуміти важливість оточення звуку в світі віртуальної реальності.

Компанія VisiSonics також спробувала впровадити оточений звук у ігрові світи: компанія вважає, що гравець зможе визначити розташування ворогів або бажаного напрямку вуха. Команда випустила плагін RealSpace 3D для ігрового двигуна Unity і працює для включення технології в інші двигуни. У зв'язку з тим, що RealSpace 3D може використовуватися на всіх платформах (від iPhone до комп'ютерів високого класу), програмне забезпечення VisiSonics повинна забезпечити високі результати за допомогою наявної обчислювальної потужності.

VisiSonics не єдина компанія на ринку 3D. Його конкуренти включають Impulsonic і два великих ефіри, невеликі стартапи. Ще одна віртуальна реальність звукорежисер, Thrive Audio, нещодавно придбана Google, ще один знак зростання інтересу в галузі.

Род Хакстон, провідний інженер VisiSonics, каже, що конкурс хороший і може сприяти виникненню оточеного звучання: «Сучасна якість визначить вибір покупця, а також легкість використання і скільки обчислювальної потужності вимагає технології. й

Huxton призначає успішність програмного забезпечення VisiSonics для досліджень, що проводяться Duraiswami і Dmitri Zotkin, інженер-механік компанії в Університеті Меріленд. «Це все пов’язано з генієм Дмитра та Рамані», – проголошує Хукстон. Тексти пісень, а це означає: Є магія, яка ще не розуміється іншими.

Магія не чарівна, але вона приймала Duraiswami і Zotkin більше 10 років, щоб принести технологію RealSpace 3D до її належної форми, але вона була навіть важче, щоб капіталізувати її. Все почалося з технологій, спрямованих на допомогу бійцям, які втратили свій погляд.



VisiSonics спочатку був заснований для виробництва "аудіокамери", підключеного до ноутбука в цьому образі.

До університету Меріленд в 1998 році і вирішив застосувати його фізико-технічну експертизу для студії аудіо. Спочатку він спробував створити штучне аудіо-середовище для солдатів, які втратили свій погляд. Мета полягала в тому, щоб дати воїнам віртуальну відчуження для вуличного кута або офісу до того, як вони вийшли в реальний світ. Для відтворення звуків навколишнього середовища, Duraiswami розробило «аудіокамеру» та програмне забезпечення для нього (який пізніше мігрований до RealSpace 3D).

Аспірант Адама О'Донована заснувала VisiSonics 4 роки тому для виготовлення та продажу їх аудіокамери. Вони виявили, що технологія обробки звуку, яка була створена, може бути використана для інших речей, але вони виявили, що це важко отримати користувачів і компаній, які його використовують. «Придумав, що якщо ми приїжджаємо з кращою приманкою, люди досягнуть нас», - сказав Дунайсвам. Але це лише частина проблеми.

В той час як їхня технологія може мати ефект на музику або кіно, це не просто перерву в ці галузі. «Дунайсмі вважає, що віртуальна реальність є дуже важливою: «Це дозволяє нам зробити новий погляд на речі, які ми звикли. й

У Дурайсвімі було зрозуміло, що його технологія добре працювала. Як крихітна компанія, розташована далеко від Силіконової долини, привертають увагу гігантів індустрії віртуальної реальності? «Ми бажали розпочати роботу з Окулусом», – каже Дунайсма. Ми знаємо, що технологія була ідеальною для використання в віртуальній реальності, і наш CEO, Gregg Wilkes, був буквально захопливим. Вже більше року для цих спроб розпочати підшипники фруктів.

Huxton, провідний інженер програмного забезпечення, приєднався до VisiSonics в 2012 році після років в ігровій індустрії. Захоплений потенціалом оточеного звуку в іграх, він вже готовий презентаційний проект, в якому гравці контролювали величезне кролика. Але коли прийшов час показати проект на конференції з величезною кількістю серйозних військових симуляцій, він замінив кролика з характером з кулеметом, оточеним футуристичними танками і вертолітами – це було більш придатним до встановлення. Незважаючи на те, що Huxton додає роботів, які обертаються назад і для співу MC Hammer's "U не може доторктися цього."

Дурайсумі та колеги продемонстрували свій проект на різних конференціях, але ще не змогли привернути увагу. Всі змінилися, коли вони прибули на конференцію розробників Game в Сан-Франциско. Не було кабіни на шоу, так що Huxton проходив навколо шоу зносу футболки, яка читає “Ask Me Якщо ви хочете побачити презентацію Реального 3D Звуку для ігор”, надрукованих на чорному фоні. Тим часом Дурайсвами та Віллесами запозичили деякі вакантні столи та спробували знайти працівників Окулус VR, щоб показати їх презентацію. «Ми в основному знаходилися ці хлопці», – згадує Дунайсма. Коли хлопці на Oculus спробували VisiSonics, вони хотіли купити ліцензію від нас.

«Що ми отримали. Ми хотіли б послухати, Huxton сказав він. Успіх команди на виставці був величезний прорив.



Ramani Duraiswami (лівий) і Дмитро Зоткін (середній) працювали в аудіосфері понад 10 років і продовжують використовувати їх фізико-технічну експертизу для підвищення точності технології RealSpace 3D. На право – Юаньчун Луо, аспірант, який працює у ВісіСоні після закінчення навчання.

Дурайсумі продовжує працювати над вимірюванням HRTF, щоб зробити об'ємний звук ще більш автентичним. На даний момент RealSpace 3D використовує узагальнений HRTF, який робить велику роботу, але все ж не враховує відмінності у формі і розмірах наших вух і головах, що впливає на сприйняття звуку.

Вимірювання HRTF зазвичай займає 2 або 3 години, але Duraiswami вдалося зменшити цей час на кілька десятків секунд. Він говорить свою місію, щоб персоналізувати музику і звук сприйняття через налаштований HRTF.

З цими і іншими перевагами, 3D звук і віртуальна реальність обіцяє краще і краще. «Якщо ви подивитеся назад 10 або 20 років, ви побачите 8-бітні ігри з Atari», - сказав Huxton. Віртуальна реальність бере на себе речі на наступний рівень, і VisisSonics, невелика компанія, заснована в парку Коледжа, Меріленд, знаходиться в середині нього.

Джерело: geektimes.ru/company/audiomania/blog/251530/