タグ HALC@LOID(NNSVS) が登録されている動画 ： 40 件中 1 - 32 件目

sm38066370 のセルフリメイクです.

原曲: モノローグP 【巡音ルカ】　Fantastic　【オリジナル曲】 sm8837393
musicxml: https://bowlroll.net/file/314511 (pass: wahhoi)

学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
Timelag model: MDNv2
Duration model: VariancePredictor
Acoustic model: SemiMultistreamRDARMDN
vuv_model: FFConvLSTM
Vibrato model: none
Vocoder: ParallelWaveGAN(Hn-sinc-NSF)

http://www.nicovideo.jp/watch/sm43461199

原曲: 稲葉曇『余裕欲』Vo. nagiβ & カゼヒキβ sm42915661
参考にしたust: ばにらあいす氏 【黯冥ダスト】余裕欲【UTAUカバー&ust配布】 sm42918100

学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
Timelag model: MDNv2
Duration model: VariancePredictor
Acoustic model: SemiMultistreamRDARMDN
vuv_model: FFConvLSTM
Vibrato model: none
Vocoder: ParallelWaveGAN(Hn-sinc-NSF)

http://www.nicovideo.jp/watch/sm43046267

ゆのすと申します。
蜂屋ななし様の『シャボン（sm35191636)』を
Heimatlos氏作成のAI式HALC@LOIDと一緒に歌わせていただきました。

Vocal:ゆのす（mylist/71936118）、AI式HALC@LOID（sm40995997）　
Mix:やまやま（@yama2mix）　
イラスト:かづき（@kAduk0）　

音源、イラストで協力いただいた方々ありがとうございました。　

普段はニコマスMADをつくってます。
つくったもの：mylist/62150623

http://www.nicovideo.jp/watch/sm41821798

最新版のNNSVSの更新でmasterに入ったGAN based mgc postfilter に挑戦しましたが, 学習データにリバーブなどのエフェクトが掛かっていると上手く学習できないようです(今回は従来の merlin postfilter で合成)
--

原曲: 稲葉曇『カゼマチグサ』Vo. 鳴花ヒメ sm37136620

参考にしたust: ばにらあいす氏の ust https://lit.link/Vanilla9831

学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)

http://www.nicovideo.jp/watch/sm40979489

原曲: ∴flower『紗痲』/ 煮ル果実 sm33974546
アレンジ: 稲葉曇 https://twitter.com/inabakumori/status/1110154553138118656

参考にした ust: 【ZOLA_PROJECT】紗痲【MMDボカロカバー+ust配布】 sm38910522

学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)

http://www.nicovideo.jp/watch/sm40044060

元動画: ヨルP 【1M】アイドルマスター春香×くるり「さよならリグレット」 sm5681329

原曲キー+7(オク上-5)

http://www.nicovideo.jp/watch/sm39349046

原曲: 歌愛ユキ『うつしあそび』 sm31093977

参考にした ust: 【黯冥ダスト】うつしあそび【UTAUカバー+UST配布】 (現在非公開)

学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)

http://www.nicovideo.jp/watch/sm39335509

深層学習による歌声合成のための習作. 伴奏は稲葉曇様のオリジナル(sm37198038)から, ust はばにらあいす様の黯冥ダストカバー(sm37199842)よりお借りしました.

http://www.nicovideo.jp/watch/sm38066387

深層学習による歌声合成のための習作. 伴奏はモノローグPのオリジナル(sm8837393)よりお借りしました.

http://www.nicovideo.jp/watch/sm38066370

原曲: 稲葉曇『電気予報』feat. 初音ミク sm43089818
参考にしたust: 冬宮紀沙氏 【Cevio AIカバー+ust】電気予報【東北きりたん】 sm42882718

学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
Timelag model: MDNv2
Duration model: VariancePredictor
Acoustic model: NPSSMultistreamParametricModel
lf0_model: BiLSTMResF0NonAttentiveDecoder
mgc_model: BiLSTMNonAttentiveDecoder
bap_model: BiLSTMNonAttentiveDecoder
vuv_model: FFConvLSTM
Vibrato model: none
Vocoder: ParallelWaveGAN(Hn-sinc-NSF)

http://www.nicovideo.jp/watch/sm43178388

原曲: 稲葉曇『期待通り』Vo. AI音街ウナ sm42389178
参考にしたust: ばにらあいす氏 【黯冥ダスト】期待通り【UTAUカバー&ust配布】 sm42392026

学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
新音響モデルで AI式HALC@LOID を学習させるには学習データ量が不足しており, 特に学習データにない長い音符で破綻しがちなので, 安定性を優先してより単純な自己回帰モデルを独自に実装しました(参考: NII の Xin Wang 博士の論文 https://ieeexplore.ieee.org/document/8341752 ). 2021 年頃に AI式HALC@LOID で使用していた RMDN に深い自己回帰入力を追加しただけですが, 以前は必要だった動的特徴量の推定が不要になるなど一定の効果はあるようです. Vocoder はまた前回 (sm42337928) と同じく ParallelWaveGAN(Hn-sinc-NSF) を使用しました.

http://www.nicovideo.jp/watch/sm42428377

元動画: OGOP アイドルマスター春香「ワールズエンド・スーパーノヴァ」 sm2910223

原曲キー+9(オク上-3)

http://www.nicovideo.jp/watch/sm39348963

元動画: シーバスP 【アイマスMAD】　強く儚い者たち sm39325387

http://www.nicovideo.jp/watch/sm39326698

原曲: 稲葉曇『ノンユース』Vo. 歌愛ユキ & 初音ミク sm35109167

参考にした ust: 【黯冥ダスト】ノンユース【UTAUカバー+ust配布】  (現在非公開)

学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)

http://www.nicovideo.jp/watch/sm39193830

日本語歌唱の学習データで英語詞を歌わせるための習作. 映像は適当.

歌声はコンプ, EQ, リバーブ, ディレイをかけていますが, タイミングやピッチ補正はしておらず NNSVS の出力のままです.

http://www.nicovideo.jp/watch/sm38815069

深層学習による歌声合成のための習作. ustおよび伴奏は耳ロボPのオリジナル(nm3611741)よりお借りしました.

他のPによる耳ロボ: ヨコハマP sm5346842 , アシスP sm12678961, パラP sm11892625

http://www.nicovideo.jp/watch/sm38066336

原曲: 稲葉曇『私は雨』Vo. 歌愛ユキ sm43679339
参考にしたust: ばにらあいす氏 【黯冥ダスト】私は雨【UTAUカバー&ust配布】 sm43680466

学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
Timelag model: MDNv2
Duration model: VariancePredictor
Acoustic model: NPSSMultistreamParametricModel
lf0_model: BiLSTMResF0NonAttentiveDecoder
mgc_model: BiLSTMNonAttentiveDecoder
bap_model: BiLSTMNonAttentiveDecoder
vuv_model: FFConvLSTM
Vibrato model: none
Vocoder: ParallelWaveGAN(Hn-sinc-NSF)

http://www.nicovideo.jp/watch/sm43789801

原曲: 稲葉曇『とこしずめ』Vo. 星界 sm40564386

学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)

http://www.nicovideo.jp/watch/sm40576153

祝・ウェザーステーション発売 & NNSVS新音響モデル実装!

NNSVSでsinsyの最近の論文を元に実装されたResSkipF0FFConvLSTMを使ってみましたが, 一部の滑舌が不明瞭になるなどまだ工夫が必要そうです(改良されたduration予測は大変良い).

原曲: 稲葉曇『きみに回帰線』Vo. 歌愛ユキ https://www.nicovideo.jp/watch/sm40230104

musicxml: https://bowlroll.net/file/276648 (pass: wahhoi)

学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)

timelag model: MDN, hidden_dim 32, num_layers 3, num_gaussians 1
duraion model: MDN, hidden_dim 256, num_layers 3, num_gaussians 1
acoustic model: ResSkipF0FFConvLSTM, conv_hidden_dim 1024, lstm_hidden_dim 256, ff_hidden_dim 2048, dropout: 0.0, bidirectional True
vibrato model: sine

http://www.nicovideo.jp/watch/sm40231995

原曲: 稲葉曇『ポストシェルター』Vo. 弦巻マキ sm39963084

参考にした ust: ばにらあいす 【黯冥ダスト】ポストシェルター【UTAUカバー&ust配布】 sm39964733

学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)

http://www.nicovideo.jp/watch/sm39970315

原曲: 稲葉曇 歌愛ユキ『ツクリカケノ心象』 sm30117882

参考にした ust: あめころもるち゛ 【飴音わめあ】ツクリカケノ心象【UTAUカバー＋UST配布】 sm30182652

学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)

http://www.nicovideo.jp/watch/sm39907861

Visual M@ster 2021 遅刻作品 / 伴奏は "WISH/LUNASEA/カラオケ用" (https://www.youtube.com/watch?v=JI56Kz7Eu1M) から無断で拝借して候 / オリジナルキー+5 / HALC@LOID(NNSVS) - WISH(LUNA SEA)

http://www.nicovideo.jp/watch/sm39698580

原曲: 稲葉曇『ハローマリーナ』Vo. 歌愛ユキ & 初音ミク sm39646734

参考にした ust: 【黯冥ダスト】ハローマリーナ【UTAUカバー&ust配布】 sm39649483

学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)

http://www.nicovideo.jp/watch/sm39657900

原曲: 稲葉曇『ハルノ寂寞』Vo. 弦巻マキ sm38728089

参考にした ust: ばにらあいす氏(現在非公開)

学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)

http://www.nicovideo.jp/watch/sm39480208

原曲: 稲葉曇『浮遊月光街』Vo. 歌愛ユキ sm34347007

参考にした ust: 【櫻花アリス】浮遊月光街【UTAUカバー+UST配布】sm34398772

学習モデル生成, 歌声合成, ミキシング: ひょこおじ
イラスト: かづき(@kAduk0)

http://www.nicovideo.jp/watch/sm39064309

深層学習による歌唱合成 / HALC@LOID-NN - Stay Gold(Hi-STANDARD) / お借りした演奏 https://www.youtube.com/watch?v=Z6SDOVF5n_Y

http://www.nicovideo.jp/watch/sm38260368

Hn-sinc-NSFは学習データの音域から外れると著明に合成結果が悪くなるので今回はWorldで合成しました. 一部歌詞を改変しています.

原曲: ちいたな 『篝火』- IA - sm34128998
アレンジ: 稲葉曇 https://www.youtube.com/watch?v=2A46CwhV4aE

musicxml: https://bowlroll.net/file/277823 (pass: wahhoi)

学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)

http://www.nicovideo.jp/watch/sm40494253

元動画: タクヲP THE iDOLM@STER 天海春香「サンデイ」 sm6141655

http://www.nicovideo.jp/watch/sm39727779

原曲: 稲葉曇『アンチサイクロン』Vo. 歌愛ユキ sm35909360

参考にした ust: ばにらあいす氏(現在非公開)

学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)

http://www.nicovideo.jp/watch/sm39614776

第2回アイマス人力歌謡祭失格作品(レギュレーション違反). イラストはズブロカPに描いて頂いて候.

fftq氏のHALC@LOID sm1303096

http://www.nicovideo.jp/watch/sm39016104

原曲: 稲葉曇『レイニーブーツ』Vo. 歌愛ユキ sm38927801
参考にしたust: ばにらあいす氏の ust https://lit.link/Vanilla9831

学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
----

NNSVSの最近の音響モデルに関して得られた知見

・2021年頃のAI式HALC@LOIDで採用していたRMDNと比較して大量の学習データが必要. NNSVS-WORLD v4(自己回帰モデル)で1h, NNSVS-WORLD v5(拡散モデル)で2h以上
・学習データ量が足りないと音程の他に音量(低次のmgcが関係)も不安定になり音痴に聴こえる
・学習データ量が足りない場合は pitch-shift data augmentation (以下PSDAと省略)という手法で
学習データを拡張することで音程や音量が安定化させることができる(場合がある) (参考: https://github.com/nnsvs/nnsvs/blob/master/utils/pitch_augmentation.py )
・PSDA で学習データを拡張しても元の学習データ量が30分程度だと NNSVS-WORLD v5で良好な結果を得ることは難しい
・有声/無声の誤推定が目立つ場合は vuv_model から mgc に対する依存を外した方が良い
・新しく採用されたニューラルボコーダである HN-uSFGAN, SiFiGAN はどちらも素晴しい出力が得られるが, 学習データにリバーブ等のノイズが乗っている場合は ParallelWaveGAN(Hn-sinc-NSF)の方がノイズに対して堅牢である(気がする)

http://www.nicovideo.jp/watch/sm42337928

思い出してもらいたいな / Voc@loidM@ster祭り'22フライング参加作品
--

原曲: 稲葉曇『シンクタンク』Vo. 裏命  sm40978472

学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)

http://www.nicovideo.jp/watch/sm40995997