Los científicos han aprendido a extraer la señal de audio de la información visual

Un grupo de investigadores del instituto tecnológico de massachusetts, empresas de Microsoft y Adobe ha desarrollado un algoritmo que puede reconstruir la señal de audio, mediante el análisis de las fluctuaciones de los objetos que aparecen en el vídeo.

En particular, los científicos en sus experimentos fueron capaces de recuperar los sonidos que se reproducen пакетиком de papas fritas en bolsa, en base a los vídeos a través de звуконепроницаемое de vidrio con una distancia de 15 pies. En otros experimentos, los ingenieros han recreado las señales de audio de una lámina de aluminio, con la superficie del agua en el vaso y el ruido de las hojas de la planta.



Uno de los investigadores, Эйб davis dijo: "Cuando el sonido incide en el objeto, hace que el objeto de vibrar. El movimiento de esta vibración crea una muy delgada de la señal visual, que suele ser invisible a simple vista. La gente no se da cuenta de que esta información estaba allí".

Restauración de audio de un vídeo requiere que el número de fotogramas de vídeo capturados por segundo, es mayor que la frecuencia de la señal de audio. En sus experimentos, los investigadores utilizaron una cámara que capturaba de 2000 a 6000 fotogramas por segundo. Es mucho más rápido que el 60 fotogramas por segundo y con algunos teléfonos inteligentes, pero muy por debajo de la frecuencia de fotogramas comerciales, cámaras de alta con 100000 fotogramas por segundo.



En otros experimentos se utilizaron normal de la cámara digital. El especial diseño de los sensores de la mayoría de las cámaras ha ayudado a ver información acerca de las fluctuaciones de alta frecuencia, incluso a partir de los vídeos grabados con el estándar de 60 fotogramas por segundo. Aunque esta аудиореконструкция no era perfecto, como ocurrió con la alta velocidad de la cámara, ella era lo suficientemente bueno para la determinación del sexo del hablante en la habitación.

Fuente: nauka24news.ru/