Исследователи восстановили звук из колебаний предметов на видеозаписи

Звук является колебаниями определённой частоты, которые распространяются в окружающем источник пространстве. Эти волны достигают находящиеся рядом объекты и заставляют их испытывать вибрации. Группа исследователей Массачусетского технологического института сумела на основании этих вибраций, видимых на видеозаписи, частично восстановить исходный звук с некоторыми искажениями.

В работе Эйб Дэвис, Майкл Рубинштейн, Нил Вадхва, Гаутам Майсор, Фредо Дуранд и Уильям Фриман использовали камеру, записывающую видео с частотой несколько тысяч кадров в секунду, и такие распространённые и подверженные вибрациям предметы, как фольга пакета чипсов, листья комнатного растения, грань коробки с салфетками или стакан с водой. Найти подобную видеокамеру в быту будет достаточно сложно, но их другая техника показала, что восстановление звука возможно и с помощью обычной записи частотой 60 кадров в секунду.

Качество восстановленного звука позволяет разделять отдельные слова и имеет относительно высокие показатели отношения сигнал-шум. Восстановленные аудиозаписи даже позволяют смутно различать речь человека или использовать сервисы распознавания музыки.

В представленном выше видеоролике на отметке 00:45 или на странице проекта показаны исходный звук (исследователи использовали хорошо известную любому, интересующемся историей звукозаписи, песенку «У Мэри был барашек») и восстановленный звук, при этом колебания на высокочастотном видео не видны невооружённому глазу — вибрации достигают менее сотой пикселя.

Затем в видеоролике на отметке 1:50 демонстрируется оригинальный звук, записанный микрофоном сотового телефона, и восстановленный звук человеческой речи. При этом камера находилась на некотором удалении от вибрирующего от звуковых волн пакета чипсов, а между ней и объектом располагалось стекло, что увеличивало сложность задачи. Исследователи опять использовали первую из записанных на фонограф Томаса Эдисона песен.

На отметке 2:35 показано, что сервисы распознавания музыки способны «узнавать» восстановленные аудиозаписи, в частности была распознана песня Under Pressure группы Queen.

Представленные выше результаты были получены с камер с частотой съёмки в тысячи кадров в секунду. Но также было показано, что артефакты съёмки обычных бытовых видеокамер (в частности, роллинг шаттер) иногда можно использовать для получения звука с частотой куда выше, чем частота кадров оригинальной видеозаписи.

Результаты изменённой техники можно увидеть на отметке 3:35, исследователям удалось восстановить частоту более чем в пять раз выше частоты кадров видеозаписи. Использовался всё тот же MIDI-файл с мелодией детской песенки.

Больше информации и аудиозаписей доступно на странице проекта. Группа исследователей обещает опубликовать код проекта в скором будущем.

Источник: habrahabr.ru/post/232245/