rvc-beta - nicozon

Songable feat. Cape

歌：ケープペンギン（RVC）
ハモリ：トキ（RVC）

ボーカルミックス：Nectar 3 Plus
マスタリング：Ozone 10 Advanced
元歌：Mai（Synthesizer V）
元ハモリ：花隈千冬（Synthesizer V）

本家様→[sm41487334]
参考ust→[sm41557399]

今まで投稿した動画→[mylist/57201706]

http://www.nicovideo.jp/watch/sm42285674

RVCで李衣菜に樹里の過純性ブリーチを歌ってもらいました。
デレの担当×シャニの担当です。
担当と言えるほどシャニマスやってないけど……

【学習元データセット】
李衣菜のソロ音源17曲、ユニット曲11曲のソロパート、デレパCD10曲の瑠璃子さんのソロパートから、
アカペラ抽出を行い、2~10秒程度に分割し、約300ファイルごとに１つのデータセットとする
１：300ファイル約19分
２：300ファイル約15分
３：370ファイル約19分

【学習モデル】
それぞれのモデルで変換を行い、１フレーズごとに最も李衣菜に近いものを選択
20エポック、バッチサイズ4、歌声(f0?)可
A：１を学習
B：２を学習
C：３を学習
D：Aに２を追加学習
E：Dに３を追加学習

【変換元】
SEVEN(NEUTRINO)
UTAUで耳コピしMIDI出力、MuseScoreで歌詞入れ、NEUTRINOで歌声出力

【加工】
VocalShifterで各部の音量調節
REPAERでReaDelayとReaCompをかける

「スタート」と「スタンバイ」はどうしても無理だった
「HEY」は無重力シャトルから

http://www.nicovideo.jp/watch/sm42179036

【RVC】Near to You【多田李衣菜】

RVCを使って李衣菜にNear to Youを歌ってもらいました。
原曲のアカペラ音源をそのまま変換せず、NEUTRINOを経由しました。
SEVENを軸にして、上手く変換できなかった所は、メロウ、きりたん、めたんから変換しました。
RVCでモデルを3つ生成し、それぞれで変換して、1フレーズごとに李衣菜に1番近い物を使用しています。
呼吸音と最初の「イェーイ」は後付けです。
語尾にSEVENの癖が強く残っています。次に作るときは、フレーズの終わりを長めにとって、削る事で癖が消せるか試してみます。

【学習元】
・李衣菜のソロ曲のアカペラ約19分 300ファイル
(ØωØerソロ、Arroehead,JttFソロ、ススメオトメソロ、ラブデスソロ、Sparkling Girlの途中まで)
・李衣菜のデレステのカードセリフ約28分 300ファイル(N～JttFの途中まで、プロデュースノートの音源)
・アカペラとカードセリフ約3時間 2394ファイル
(N～王子りーな(現状全部)、ソロ音源16曲、ユニット曲、デレパCDのソロパート)

設定は全てデフォルトの20エポック、バッチサイズ4、歌声「可」を使用しています。
アカペラの作製には歌声りっぷ、Spleeter(GUI),Demucsを利用しています。
音きりすでアカペラから雑音を消しています。
colabの無料枠1回で学習が終了しました。
学習元を多くしても、学習が長くなるだけであまり精度は上がりませんでした。
有料枠でエポック数を増やしてもあまり精度は上がりませんでした。
バッチサイズを上げて、エポック数を下げるのは、精度が下がりました。

【NEUTRINO】
完璧なアカペラが作れない、原曲のソロ音源を持ってない(存在する？)、そのまま変換するのは創作感が薄い等の理由でNEUTRINOで出力したアカペラから変換しています。
NEUTRINOの楽譜はUTAUで作成し、MuseScoreで歌詞を入れました。
李衣菜×Near to Youでは、SEVENからの変換が、1番李衣菜に近くなりました。
↓他のモデルから変換した感想
・きりたん：「きりたん感」が強く残る。他のモデルと比べて聞きなじみありすぎて違和感が強い。
・メロウ：バラード向き？で李衣菜にもNear to Youにも向かない。Cuや落ち着いたCoに合いそう。
・めたん：機械感が強い。
・ずん子：ウィスパー声？で李衣菜には合わない。ほたるとかに合いそう。
・イタコ：癖が強すぎる。声優が同じ可奈でも厳しそう。