Obteniendo audio de imágenes estáticas, videos silenciosos

Capturando el sonido de imágenes estáticas y videos silenciosos

Una herramienta de aprendizaje automático desarrollada en la Universidad Northeastern puede obtener audio a partir de imágenes fijas y videos silenciados.

Utilizando la herramienta Side Eye, que aprovecha la tecnología de estabilización de imagen estándar en la mayoría de las cámaras de teléfonos inteligentes, es posible determinar el género de alguien que habla fuera de cámara y las palabras exactas que dijeron.

Kevin Fu, de Northeastern, explicó que los pequeños resortes que sostienen una lente de cámara suspendida en un líquido experimentan vibraciones microscópicas y la luz se dobla casi imperceptiblemente cuando alguien habla cerca de una lente de cámara.

Aprovechando el método de obturación rodante utilizado por la mayoría de las cámaras de teléfonos inteligentes, los investigadores pueden extraer frecuencias sónicas de esas vibraciones.

• Robot de 400 libras del NYPD recibe una prueba en la estación de metro de Times Square
• Científicos más cerca de encontrar una prueba para el COVID prolongado
• Una guía sobre cómo elegir los mejores enfoques de integración de datos

Side Eye produce audio amortiguado, pero el uso del aprendizaje automático y el entrenamiento en ciertas palabras y audio le permite extraer una cantidad considerable de información, según Fu. De Northeastern Global News Ver artículo completo

Derechos de autor © 2023 SmithBucklin, Washington, D.C., USA

We will continue to update Zepes; if you have any questions or suggestions, please contact us!