Conoce a Brain2Music Un método de IA para reconstruir música a partir de la actividad cerebral capturada mediante Resonancia Magnética Funcional (fMRI).

Brain2Music es un método de IA que reconstruye música a partir de la actividad cerebral capturada por fMRI.

¿A quién no le gusta la música? ¿Alguna vez has recordado el ritmo de una canción pero no las letras y no puedes averiguar el nombre de la canción? Investigadores de Google y la Universidad de Osaka encontraron una forma de reconstruir la música a partir de la actividad cerebral utilizando imágenes por resonancia magnética funcional (fMRI). Según el género, la instrumentación y el estado de ánimo de una persona, se genera la música.

Los investigadores de Google y la Universidad de Osaka utilizan redes neuronales profundas para generar música a partir de características como las imágenes de fMRI mediante la predicción de música estructurada semánticamente a nivel alto. Según la actividad en la corteza auditiva humana, se pueden predecir diferentes componentes de la música. Los investigadores experimentaron con JukeBox, que generaba música con alta coherencia temporal, lo cual consiste en artefactos predecibles. Se utiliza un códec de audio neural comprimido a bajos bitrates con una reconstrucción de alta calidad para generar audio de alta calidad.

Generar música a partir de fMRI requiere etapas intermedias, que incluyen la representación musical mediante la selección de la inserción musical. La arquitectura utilizada por ellos consistió en una inserción musical, que representaba un cuello de botella para la generación musical posterior. Si la inserción musical predicha se acerca a la inserción musical del estímulo original escuchado por el sujeto, se utiliza MusicLM (modelo generador de música) para generar música similar al estímulo original.

• Nuevo curso técnico de inmersión profunda Fundamentos de IA generativa en AWS
• ¡Fantástico! Artista 3D se sumerge en trabajos oceánicos impulsados por inteligencia artificial esta semana ‘En el Estudio de NVIDIA
• NVIDIA DGX Cloud ahora disponible para impulsar el entrenamiento de IA generativa

El modelo generador de música MusicLM consta de inserciones derivadas de audio llamadas MuLan y w2v-BERT- avg. De ambas inserciones, MuLan tiende a tener un rendimiento de predicción alto en comparación con w2v-BERT-avg en la corteza prefrontal lateral, ya que captura la información musical de alto nivel en el cerebro humano. La información abstracta sobre la música se representa de manera diferente en la corteza auditiva en comparación con las inserciones derivadas de audio.

Las inserciones MuLan se convierten en música mediante modelos generadores. La información que no está contenida en la inserción se recupera en el modelo. En la técnica de recuperación, la reconstrucción también es musical, ya que se extrae directamente de un conjunto de datos de música. Esto garantiza un mayor nivel de calidad de reconstrucción. Los investigadores utilizan la regresión lineal a partir de datos de respuesta de fMRI. Este método también tiene limitaciones que incluyen la incertidumbre en la cantidad de información exacta con la regresión lineal a partir de los datos de fMRI.

Los investigadores dijeron que su trabajo futuro incluye la reconstrucción de música a partir de la imaginación de una persona. Cuando un usuario imagina un fragmento de música, el análisis de decodificación examina cuán fielmente se puede reconstruir la imaginación. Esto calificaría como una verdadera lectura de la mente. Existen diversos sujetos con diferentes habilidades musicales y se requiere múltiples propiedades de reconstrucción mediante comparación. Comparar la calidad de la reconstrucción entre los sujetos, que incluyen músicos profesionales, puede proporcionar ideas útiles sobre las diferencias en sus perspectivas y comprensión.

Su trabajo de investigación es solo el primer paso para materializar tus pensamientos puros e imaginativos. Esto también llevaría a generar hologramas a partir de la pura imaginación en la mente del sujeto. El avance en este campo también proporcionará una interpretación cuantitativa desde una perspectiva biológica.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!