ディープラーニングでボーカル除去してオフボーカル版を作ってみた

ディープラーニングでボーカル除去してオフボーカル版を作ってみた

deep learningを用いて「歌声+伴奏」の曲からボーカルを除去して、「伴奏」のみの曲(いわゆるオフボーカル、Instrumental)を作ってみました。※動画中のモデルを進化させてどなたでも使えるサービス KoeKestra(コエケストラ) としてリリースいたしました(有料となります)。よろしくお願いいたします。 https://koekestra.com/ ・音楽(BGM):魔王魂動画中で「ラブライブ!サンシャイン!!」の楽曲を引用しております。動画中のサイト、論文は以下の通りです。・Deep U-Netで自動歌声分離 - Qiita https://qiita.com/xiao_ming/items/88826e576b87141c4909 ・ボーカルリデューサー:ねおん https://www.vector.co.jp/soft/dl/winnt/art/se505549.html ・PhonicMind https://phonicmind.com/ ・SINGING VOICE SEPARATION WITH DEEP U-NET CONVOLUTIONAL NETWORK https://ismir2017.smcnus.org/wp-content/uploads/2017/10/171_Paper.pdf ・Multi-scale Multi-band DenseNets for Audio Source Separation https://arxiv.org/abs/1706.09588arXiv:1706.09588 [cs.SD]・Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation https://arxiv.org/abs/1802.02611arXiv:1802.02611 [cs.CV]

http://www.nicovideo.jp/watch/sm34794752