Separar música por instrumentos usando Demucs y Colab

Demucs se basa en la arquitectura convolucional U-Net inspirada en Wave-U-Net y SING, con GLU, un BiLSTM entre el codificador y el decodificador, la inicialización específica de pesos y las convoluciones transpuestas en el decodificador.

U-Net funciona, a grandes rasgos, tomando los datos de entrada que en este caso va a ser una canción. Esta se comprime y se codifica para después aprender a decodificarlas de la manera en la que nosotros queramos. Cuantas más canciones procese, más aprenderá a diferenciar los sonidos que componen una pieza musical.

Este tipo de redes suele ser aplicadas en problemas con imágenes donde buscamos por ejemplo los diferentes elementos que aparecen en ella. Pero en este caso se ha aplicado a un archivo de audio, donde existe una onda sonora. Como una imagen no es lo mismo que un audio porque este último tiene una dimensión temporal, se ha añadido otro módulo que es especialista en este tipo de datos temporales denominado LSTM.

Así es como funciona la inteligencia artificial que, tras entrenarse, es capaz de separar en pistas una canción en bajo, percusión, vocal, etc. Además, los desarrolladores nos ofrecen una web donde podemos ver diferentes ejemplos de los resultados de la inteligencia artificial Demucs.

Cómo usarlo

Necesitaremos dos archivos, las músicas que queremos separar por instumentos y el archivo Demucs_Colab.ipynb el cuál contiene todo lo necesario a instalar en Google Colab.

1. Descargamos el archivo Demucs_Colab, haciendo clic aquí.
2. Nos dirigimos a la página de Google Colab, haciendo clic aquí.

Damos clic en subir, después seleccionamos el archivo Demucs_Colab.ipynb

En el panel ejecutamos Instalar Demucs y permitir acceder a su unidad de Drive principal/demucs/
Durante el proceso nos pedirá acceso a nuestra cuentade Google pero no te alarmes! solo necesita acceso para poder crear la carpeta demucs, la cuál será donde el programa leerá el contedido de la carpeta para hacer el proceso de separación de pistas.

Ya hecho se creará una carpeta llamada demucs a la cual se subirán las canciones las cuales deseas separar por instrumentos.

Ya terminado el proceso podremos notarlo al ver una pequeña palomita al lado del botón play.
Terminado el proceso la música separada se guardará en la carpeta demucs/mdx_extra/Nombre_de_música.