タグ HALC@LOID(NNSVS) が登録されている動画 ： 40 件中 33 - 40 件目
種類:
- タグ
- キーワード
対象:
【AI式HALC@LOID】レイニーブーツ【NNSVS-WORLD v4(自己回帰モデル)+ParallelWaveGAN】
原曲: 稲葉曇『レイニーブーツ』Vo. 歌愛ユキ sm38927801
参考にしたust: ばにらあいす氏の ust https://lit.link/Vanilla9831
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
----
NNSVSの最近の音響モデルに関して得られた知見
・2021年頃のAI式HALC@LOIDで採用していたRMDNと比較して大量の学習データが必要. NNSVS-WORLD v4(自己回帰モデル)で1h, NNSVS-WORLD v5(拡散モデル)で2h以上
・学習データ量が足りないと音程の他に音量(低次のmgcが関係)も不安定になり音痴に聴こえる
・学習データ量が足りない場合は pitch-shift data augmentation (以下PSDAと省略)という手法で
学習データを拡張することで音程や音量が安定化させることができる(場合がある) (参考: https://github.com/nnsvs/nnsvs/blob/master/utils/pitch_augmentation.py )
・PSDA で学習データを拡張しても元の学習データ量が30分程度だと NNSVS-WORLD v5で良好な結果を得ることは難しい
・有声/無声の誤推定が目立つ場合は vuv_model から mgc に対する依存を外した方が良い
・新しく採用されたニューラルボコーダである HN-uSFGAN, SiFiGAN はどちらも素晴しい出力が得られるが, 学習データにリバーブ等のノイズが乗っている場合は ParallelWaveGAN(Hn-sinc-NSF)の方がノイズに対して堅牢である(気がする)
【AI式HALC@LOID】期待通り【NNSVSカバー】
原曲: 稲葉曇『期待通り』Vo. AI音街ウナ sm42389178
参考にしたust: ばにらあいす氏 【黯冥ダスト】期待通り【UTAUカバー&ust配布】 sm42392026
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
新音響モデルで AI式HALC@LOID を学習させるには学習データ量が不足しており, 特に学習データにない長い音符で破綻しがちなので, 安定性を優先してより単純な自己回帰モデルを独自に実装しました(参考: NII の Xin Wang 博士の論文 https://ieeexplore.ieee.org/document/8341752 ). 2021 年頃に AI式HALC@LOID で使用していた RMDN に深い自己回帰入力を追加しただけですが, 以前は必要だった動的特徴量の推定が不要になるなど一定の効果はあるようです. Vocoder はまた前回 (sm42337928) と同じく ParallelWaveGAN(Hn-sinc-NSF) を使用しました.
【AI式HALC@LOID】リレイアウター【NNSVSカバー】
ボカコレ2023夏TOP100ランキング1位おめでとうございます.
原曲: 稲葉曇『リレイアウター』Vo. 歌愛ユキ sm42576236
参考にしたust: ばにらあいす氏 【黯冥ダスト】リレイアウター【UTAUカバー&ust配布】 sm42580913
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
NNSVS-WORLD v4(自己回帰モデル)と SemiMultistreamRDARMDN(自作のより単純な自己回帰モデル)をコンピングしてミックスしています.
【AI式HALC@LOID】言って。【NNSVSカバー】
原曲: ヨルシカ - 言って。(Music Video) https://www.youtube.com/watch?v=F64yFFnZfkI
参考にしたust: ばにらあいす氏 https://lit.link/Vanilla9831
オフボーカル音源: 【生音カラオケ】言って。 / ヨルシカ【Instrumental / Off Vocal】https://www.youtube.com/watch?v=Ao9K0RFBjXQ
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
HN-uSFGANの学習に失敗してブレスが有声化けしてしまうため, ParallelWaveGAN(Hn-sinc-NSF)の出力と適宜コンピングしています.
【AI式HALC@LOID】余裕欲【NNSVSカバー】
原曲: 稲葉曇『余裕欲』Vo. nagiβ & カゼヒキβ sm42915661
参考にしたust: ばにらあいす氏 【黯冥ダスト】余裕欲【UTAUカバー&ust配布】 sm42918100
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
Timelag model: MDNv2
Duration model: VariancePredictor
Acoustic model: SemiMultistreamRDARMDN
vuv_model: FFConvLSTM
Vibrato model: none
Vocoder: ParallelWaveGAN(Hn-sinc-NSF)
【AI式HALC@LOID】電気予報【NNSVSカバー】
原曲: 稲葉曇『電気予報』feat. 初音ミク sm43089818
参考にしたust: 冬宮紀沙氏 【Cevio AIカバー+ust】電気予報【東北きりたん】 sm42882718
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
Timelag model: MDNv2
Duration model: VariancePredictor
Acoustic model: NPSSMultistreamParametricModel
lf0_model: BiLSTMResF0NonAttentiveDecoder
mgc_model: BiLSTMNonAttentiveDecoder
bap_model: BiLSTMNonAttentiveDecoder
vuv_model: FFConvLSTM
Vibrato model: none
Vocoder: ParallelWaveGAN(Hn-sinc-NSF)
【AI式HALC@LOID】Fantastic【NNSVSカバー】
sm38066370 のセルフリメイクです.
原曲: モノローグP 【巡音ルカ】 Fantastic 【オリジナル曲】 sm8837393
musicxml: https://bowlroll.net/file/314511 (pass: wahhoi)
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
Timelag model: MDNv2
Duration model: VariancePredictor
Acoustic model: SemiMultistreamRDARMDN
vuv_model: FFConvLSTM
Vibrato model: none
Vocoder: ParallelWaveGAN(Hn-sinc-NSF)
【AI式HALC@LOID】私は雨【NNSVSカバー】
原曲: 稲葉曇『私は雨』Vo. 歌愛ユキ sm43679339
参考にしたust: ばにらあいす氏 【黯冥ダスト】私は雨【UTAUカバー&ust配布】 sm43680466
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
Timelag model: MDNv2
Duration model: VariancePredictor
Acoustic model: NPSSMultistreamParametricModel
lf0_model: BiLSTMResF0NonAttentiveDecoder
mgc_model: BiLSTMNonAttentiveDecoder
bap_model: BiLSTMNonAttentiveDecoder
vuv_model: FFConvLSTM
Vibrato model: none
Vocoder: ParallelWaveGAN(Hn-sinc-NSF)