Будущее 3D-звука

Современные аудиотехнологии могут кардинально изменить наше представление о компьютерных играх, музыке и фильмах

Я не могу поверить своим ушам. Я водил обычный серый кубик вокруг головы и был готов поклясться, что слышу, как из него доносится инструментальная музыка – словно это был крошечный динамик. Звуки скрипки внезапно становились очень громкими, когда кубик оказывался близко к уху и затихали, когда он отодвигался подальше.

Если куб располагался позади меня, то казалось, что я повернулся спиной к струнному квартету. Когда я проводил кубиком над головой, по ней пробегали мурашки, и казалось, что музыка играет откуда-то сверху. Но сам по себе кубик безмолвен. Музыка доносилась через наушники, и когда я их снял – вся иллюзия исчезла.

Я нахожусь в большом помещении IT-инкубатора Университета Мэриленда, где работает команда стартапа VisiSonics, состоящая из восьми человек. Это они создали программное обеспечение, которое провело мой мозг, заставив его услышать 3D-звук через наушники. Серый куб, который я держу в руках, соединен с устройством, отслеживающим его местоположение относительно моей головы.

Технология RealSpace 3D, разработанная VisiSonics, использует пространственные данные, получаемые от системы слежения, для обработки музыки, поэтому кажется, будто она доносится из кубика. Эта демонстрация просто показывает, что разработанное программное обеспечение действительно способно обмануть ваш мозг – поразительно то, что я совершенно забыл о наушниках.



Исследование Рамани Дураисвами (Ramani Duraiswami) помогло ему создать программное обеспечение, которое точно воспроизводит 3D-аудио через наушники. Точно воспроизвести 3D-аудио можно, измерив индивидуальную характеристику, так называемую передаточную функцию головы (HRTF), что обычно занимает 2-3 часа. Прототип, разработанный Дураисвами, в котором сидит Елена Зоткина, способен измерить HRTF за несколько десятков секунд

Это эффект, на который в VisiSonics возлагают большие надежды. Компания надеется разработать аудиодвижок для игр, который будет применяться для создания виртуальной или дополненной реальности. Могу сказать, что технология уже сделала большой шаг в этом направлении. Oculus VR, не так давно купленная Facebook, в прошлом октябре лицензировала RealSpace 3D для своего шлема виртуальной реальности Oculus Rift и внесла его в список средств разработки звукового программного обеспечения Oculus.

VisiSonics также ведут переговоры с другими компаниями. «Цель отличного 3D-звука – сделать так, чтобы при прослушивании музыки через наушники вам казалось, что их на вас нет», – говорит Рамани Дураисвами, один из основателей компании и преподаватель теории вычислительных машин в Университете Мэриленда в Колледж-Парке.

Но компания не намерена останавливаться на компьютерных играх и виртуальной реальности. «Где люди пользуются наушниками – там будем мы, чтобы полностью изменить их представление о звуке», – добавляет Дураисвами.

Мы воспринимаем нашу способность слышать звук в трех измерениях как само собой разумеющуюся – даже с закрытыми глазами мы можем определить положение источника звука. Мозг удивительно хорошо интерпретирует звук, поступающий в наши уши, которые выступают в роли пространственно разделенных микрофонов. Это означает, что он использует различные параметры сигнала, например, задержку между его поступлением в правое и левое ухо, чтобы определить, с какой стороны поступает звук. Повторить этот эффект с использованием наушников нелегко.

Добиться эффекта 3D-звука можно, просто расположив вокруг себя большое количество динамиков. Такой подход используют многие кинотеатры, но с наушниками этот фокус не сработает. Расцвет мобильных устройств означает, что многие из нас играют в компьютерные игры, слушают музыку и смотрят фильмы, используя наушники, а программное обеспечение VisiSounds способно воспроизводить 3D-звук с любого устройства.

Вообразите, как вы слушаете 9 симфонию Бетховена на вашем мобильном, и вам кажется, что вы сидите на лучшем месте в театре, слушая живое выступление. Или представьте, как во время просмотра ужастика на своем iPad вы вдруг начинаете слышать шаги злодея прямо за своей спиной.


Одно из первых демо, которое создал Род Хакстон (Rod Haxton), чтобы показать возможности технологии RealSpace 3D

Инженеры пытались воспроизвести эффект 3D-звука на протяжении века. Большую часть этого времени ученые использовали голову манекена с микрофоном в каждом ухе для записи звука, пытаясь создать модель человеческой головы.

VisiSonics нашли способ избавиться от манекена и теперь используют программное обеспечение. Мы определяем источник звука, поворачивая голову в разные стороны. В виртуальной или дополненной реальности важно не только точно определять источник звука, но и достаточно правдоподобно изменять этот звук в зависимости от положения головы. Когда вы поворачиваете голову, программное обеспечение VisiSonics в реальном времени вычисляет параметры изменения звука – это создает эффект полного погружения.

Программное обеспечение также учитывает особенности комнаты, определяющие поведение звука в пространстве. Вы слышите не только сам звук, но и его множественные отражения от стен, мебели и других вещей в комнате. Звуковые реверберации занимают не последнее место в определении расстояния между человеком и источником звука и передаче чувства расстояния. По словам Дураисвами, именно точность, с которой программное обеспечение воссоздает реверберации, и делает звук RealSpace 3D таким естественным.

Третий важный компонент программного обеспечения Дураисвами – это способность воссоздавать то, как звук взаимодействует с вашим телом, еще до его попадания в слуховой канал. Звук по-разному отражается от головы, тела и изгибов наружного уха в зависимости от положения источника. Ученые назвали эту особенность передаточной функцией головы или HRTF (HRTF – head-related transfer function). Если вы хотите точно воссоздать звук, идущий с определённого направления, то вам придется учитывать HRTF.

Хотя звук, обработанный VisiSonics, поступает из наушников, мой мозг уверен, что он идет из серого кубика, который я держу в руке. «3D-звук – это «трехногий табурет», – говорит Дураисвами. – Если убрать одну опору, то он упадет».

С такими успехами в 3D-аудио любая музыка, фильм или игра сможет воспроизводить звук так, словно вы действительно находитесь в открытом поле, уютной комнате или концертном зале. Можно выпускать музыку и фильмы, которые с самого начала поддерживают 3D-аудио.

Например, Бьорк недавно выпустила панорамный музыкальный клип с 3D-звуком (технология, использованная в клипе, была разработана одними из конкурентов VisiSounds). Певица на своей страничке в Facebook описала ощущения от просмотра клипа: «Вы как будто находитесь на том пляже, а вокруг вас плотным кругом сидят 30 музыкантов». Киностудиям, пытающимся снимать панорамные фильмы с эффектом погружения, где всё действие происходит прямо вокруг вас, понадобится подобная технология, чтобы все было максимально правдоподобно.

За прошедшее десятилетие визуальная составляющая виртуальной реальности сделала большой шаг вперед, но аудио начинает «догонять» только сейчас – и как раз вовремя, так как несколько компаний недавно анонсировали (или уже выпустили) новые гарнитуры. «Вы не можете и не должны «погружаться» в виртуальную реальность наполовину», – усмехается Дураисвами.

Еще одно демо возможностей RealSpace 3D, подготовленное независимым разработчиком с помощью плагинов VisiSonics, помогло мне понять, почему Oculus нужно 3D-аудио. Когда я впервые надел шлем виртуальной реальности, мне сразу же захотелось раствориться в ней.

Я стоял на деревянном мосту, перекинутом через реку, а вокруг росли тропические деревья. Я вертел головой, чтобы рассмотреть буйную растительность этого мира – это ощущение схоже с исследованием богатого окружения компьютерной игры, только в этом случае ты буквально ощущаешь себя её частью, и это ощущение только усиливается со звуком RealSpace 3D. Я стоял под открытым ночным небом, вокруг стрекотали сверчки, а справа от меня из трубы низвергался поток воды. Когда я поворачивал голову, чтобы получше рассмотреть пейзаж, звук изменялся так, как было нужно, в полной мере сохраняя ощущение реальности происходящего.


Это демо с использованием Oculus Rift помогло мне понять важность объемного звука в мире виртуальной реальности

VisiSonics также пытались внедрить объемный звук в игровые миры: компания полагает, что игрок сможет определять местоположение врагов или нужное направление на слух. Команда выпустила плагин RealSpace 3D для игрового движка Unity и работает над тем, чтобы включить свою технологию в другие движки. Из-за того, что RealSpace 3D может быть использована на всех платформах (от iPhone до высокопроизводительных компьютеров), программное обеспечение VisiSonics должно обеспечивать высококлассный результат, используя доступные вычислительные мощности.

VisiSonics – не единственная компания, которая работает на рынке 3D-звука. Среди её конкурентов есть такие проекты как Impulsonic и Two Big Ears – небольшие молодые стартапы. Еще один стартап, занимающийся созданием звука для виртуальной реальности, носит название Thrive Audio и не так давно был приобретен компанией Google – это еще один знак растущего интереса к отрасли.

Род Хакстон (Rod Haxton), ведущий инженер VisiSonics, говорит, что конкуренция – это хорошо, и может поспособствовать становлению объемного звука: «Качество звука – вот что будет определять выбор покупателя, а также простота использования и то, как много вычислительных мощностей требует технология».

Хакстон объясняет успех программного обеспечения VisiSonics исследованием, проведенным Дураисвами и Дмитрием Зоткиным, инженером из Университета Мэриленда, работающим в компании «на полставки». «Это все заслуга гения Дмитрия и Рамани, – восклицает Хакстон. – Здесь творится магия, которая пока не понята другим».

Магия – не магия, но Дураисвами и Зоткину потребовалось более 10 лет, чтобы привести технологию RealSpace 3D к должному виду, но еще сложнее оказалось извлечь из неё выгоду. Все началось с технологии, призванной помочь солдатам, потерявшим зрение.



VisiSonics изначально была основана для производства «аудиокамеры» – устройства, подсоединенного к ноутбуку на этом изображении

Дураисвами начал работать в Университете Мэриленда в 1998 году и решил применить свои знания физики и инженерный опыт в сфере студийного аудио. Поначалу он пытался создать искусственную аудиосреду для солдат, утративших зрение. Целью было дать солдатам возможность виртуально почувствовать как «звучит» угол улицы или офис, прежде чем они выйдут в реальный мир. Чтобы воспроизводить звуки окружения, Дураисвами разработал «аудиокамеру» и программное обеспечение к ней (которое позже перекочевало в RealSpace 3D).

Дураисвами и аспирант Адам О’Донаван (Adam O’Donovan) основали VisiSonics четыре года назад, с целью производить и продавать их аудиокамеру. Вскоре они поняли, что созданную технологию обработки звука можно применять для других вещей, но столкнулись с трудностями, потому что было непонятно, как заставить пользователей и компании начать пользоваться их наработками. «Они говорили, что если мы придумаем «приманку» получше, то люди к нам потянутся, – поведал Дураисвами. – Но это только часть проблемы».

Хотя их технология может оказать эффект на музыку или фильмы, в эти индустрии не так-то просто прорваться. Дураисвами считает, что виртуальная реальность очень важна: «Это позволяет по-новому взглянуть на привычные для нас вещи».

Для Дураисвами было очевидно с самого начала, что его технология отлично работала. Как крошечной компании, расположенной вдали от Кремниевой долины, обратить на себя внимание гигантов отрасли виртуальной реальности? «Мы хотели начать работать с Oculus, – говорит Дураисвами. – Мы знали, что технология идеально подходит для использования в сфере виртуальной реальности, и наш генеральный директор Грегг Уилкес (Gregg Wilkes) буквально преследовал их». Потребовалось больше года, чтобы эти попытки начали приносить плоды.

Хакстон, ведущий инженер-программист, присоединился к VisiSonics в 2012 году, после долгих лет работы в игровой индустрии. Увлеченный потенциалом объемного звука в играх, он на скорую руку подготовил презентационный проект, в котором игроки управляли огромным кроликом. Но когда пришло время показывать проект на конференции с огромным количеством серьезных военных симуляций, он заменил кролика персонажем с автоматом, окруженным футуристичными танками и вертолетами – это больше соответствовало обстановке. Хотя Хакстон все же добавил туда робота, который ездил туда-сюда и распевал песню MC Hammer «U Can’t Touch This».

Дураисвами с коллегами демонстрировали свой проект на разных конференциях, но все никак не могли привлечь к себе внимание. Все изменилось, когда они приехали на Конференцию разработчиков игр 2014 в Сан-Франциско. На этом шоу у них не было своего стенда, поэтому Хакстон расхаживал по выставке в футболке с надписью «Спросите меня, если хотите посмотреть презентацию настоящего 3D-звука для игр», напечатанной на черном фоне. Тем временем, Дураисвами и Уилкес позаимствовали некоторые из незанятых столов и пытались найти работников Oculus VR, чтобы показать им презентацию. «По сути, мы устроили засаду на этих парней, – вспоминает Дураисвами. – Когда ребята из Oculus попробовали VisiSonics, они захотели купить у нас лицензию».

«Вот так мы к этому пришли. Мы, словно партизаны, пытались схватить любого и заставить его сказать нам то, что мы хотели услышать, – говорит Хакстон. – Успех команды на торговой выставке был грандиозным прорывом».



Рамани Дураисвами (слева) и Дмитрий Зоткин (посередине) работали в аудиосфере более 10 лет и продолжают использовать свои знания физики и инженерный опыт, чтобы улучшить точность технологии RealSpace 3D. Справа сидит Йанченг Луо (Yuancheng Luo), аспирант, который после окончания университета работает в VisiSonics

Дураисвами продолжает работу над измерением персональной HRTF, чтобы сделать объемный звук еще более достоверным. На данный момент RealSpace 3D использует обобщенную HRTF, которая отлично справляется со своей задачей, но все же не учитывает различия форм и размеров наших ушей и голов, что влияет на восприятие звука.

Измерение HRTF обычно занимает 2 или 3 часа, но Дураисвами удалось уменьшить это время до нескольких десятков секунд. Он говорит, что их задачей является персонализация музыки и восприятия звука с помощью индивидуальной HRTF.

С этими и другими преимуществами 3D-звук и виртуальная реальность обещают становиться все лучше и лучше. «Если оглянуться назад на 10 или 20 лет, то мы увидим 8-битные игры от Atari, – говорит Хакстон. – Виртуальная реальность переходит на новый уровень, и небольшая компания VisisSonics из Колледж-Парка в Мэриленде находится в самой гуще событий».

Источник: geektimes.ru/company/audiomania/blog/251530/