HALC@LOID(NNSVS) 樹海の糸
- 2021/04/30 23:11:02 投稿
- 再生数：2655
- マイリスト数：19
じゃんPのアイドルマスター 『樹海の糸』 春香ソロ（ sm4914451 ）にNNSVSを使用して深層学習で合成した歌声を付けてみました.● NNSVSを使用した深層学習版HALC@LOIDの作成方法用意するもの: xbox360, アイドルマスターL4U, キャプチャボード, NNSVSの実行環境, (NVIDIAのGPU)1. L4Uで「i」, 「kosmos, cosmos」, 「いっぱいいっぱい」を除く29曲をボーカル有り/ボーカル無しの2条件でキャプチャする(全部で58曲キャプチャする). 2. 1でキャプチャした音源からアカペラ音源を作成する. 位相を反転して足し合わせても良いし歌声りっぷなどのソフトを使っても良い.3. musicxml形式で各曲のボーカルパートの楽譜を用意する. ニコニ・コモンズに投稿されている midi 音源や www 上に投稿されているピアノ譜などを参考にすると良い4. 各曲の音素ラベルファイル(各音素がどのタイミングで発声されているか)を作成する. WavesurferまたはAudacityで手作業で作成するか, julius(segmentation-kit)またはSHIROを使って自動でラベリングしても良い5. NNSVS の egs ディレクトリに含まれる pjs のレシピを参考にして自作音源のレシピを作成する. ofuton_p_utagoe_db, natsume_singing, oniku_kurumi_utagoe_db のレシピは各歌声データベースに合わせてカスタマイズされているので参考にしてはいけない6. bash run.sh --stage 0 --stop-stage 6 を走らせて数時間～1日程度待つ