Los investigadores reconstruyeron las vibraciones sonoras de los objetos en el vídeo

El sonido es vibraciones de una cierta frecuencia, que se distribuyen en el espacio circundante de la fuente. Estas ondas están cerca de llegar a los objetos y hacer que se sientan la vibración. Un equipo de investigadores del MIT ha logrado sobre la base de estas vibraciones visibles en el video, para restaurar parcialmente el sonido original con un poco de distorsión.

En el Abe Davis, Michael Rubinstein, Neal Wadhwa, Gautam Mysore, Fredo Durand y William Freeman utiliza la cámara para grabar vídeo a una frecuencia de varios miles de fotogramas por segundo, y son comunes, y están sujetas a vibraciones artículos como paquete de aluminio de patatas fritas, hojas, plantas, faceta cajas de tejidos o vaso de agua. Encuentra cámara similar en la casa es bastante difícil, pero otra técnica mostró que la restauración de sonido posible con una grabación convencional a 60 cuadros por segundo.

La calidad del audio recuperado que permite a las palabras separadas y tiene una señal de relativamente alta a ruido. Recuperado registro incluso permiten distinguir vagamente la voz humana o utilizar el servicio de reconocimiento de música.

En el vídeo de arriba en torno a 00:45 o muestra el sonido original (los investigadores utilizaron un conocido a nadie, Interesado en la historia de la grabación de una canción « Mary Had a Little Lamb ») y restaurar el sonido, con vibraciones de alta frecuencia en el video no es visible a simple vista - las vibraciones llegan a menos de una centésima del píxel
.
Luego, en el video en alrededor de 01:50 demuestra el sonido original, el micrófono del teléfono celular registrado, y restaurar el sonido de la voz humana. La cámara se encuentra a cierta distancia de las ondas de sonido que vibran en una bolsa de patatas fritas, y entre éste y los objetos son de vidrio, lo que aumenta la dificultad de la tarea. Los investigadores usaron una vez más la primera registrada en un fonógrafo canciones de Thomas Edison.

Alrededor de las 2:35 muestra que el servicio de reconocimiento de música puede "aprender" registro reconstruido, en particular, ha sido reconocido por la canción Under Pressure grupo Queen.

Los resultados anteriores se obtuvieron de la frecuencia de disparo de la cámara de miles de fotogramas por segundo. Sin embargo, también se demostró que los artefactos domésticos comunes tiro cámaras de vídeo (en particular, rodadura de obturación) a veces se puede utilizar para producir un sonido con una frecuencia mucho más alta que la velocidad de cuadro del vídeo original.

Los resultados de una técnica modificada se pueden ver alrededor de las 03:35, los investigadores fueron capaces de restaurar la tasa de más de cinco veces la velocidad de fotogramas del vídeo. Utilizamos todos iguales MIDI-archivo con la melodía de canciones infantiles.

Más información y audio disponible en la página del proyecto . Un grupo de investigadores promete publicar el código para el proyecto en un futuro próximo.

Fuente: habrahabr.ru/post/232245/