タグ NNSVSカバー曲 が登録されている動画 ： 39 件中 1 - 32 件目
種類:
- タグ
- キーワード
対象:
アイドルマスター 天海春香 耳のあるロボットの唄
深層学習による歌声合成のための習作. ustおよび伴奏は耳ロボPのオリジナル(nm3611741)よりお借りしました.
他のPによる耳ロボ: ヨコハマP sm5346842 , アシスP sm12678961, パラP sm11892625
アイドルマスター 天海春香 ラグトレイン
深層学習による歌声合成のための習作. 伴奏は稲葉曇様のオリジナル(sm37198038)から, ust はばにらあいす様の黯冥ダストカバー(sm37199842)よりお借りしました.
THE iDOLM@STER HARUKA AMAMI STAY GOLD
深層学習による歌唱合成 / HALC@LOID-NN - Stay Gold(Hi-STANDARD) / お借りした演奏 https://www.youtube.com/watch?v=Z6SDOVF5n_Y
サイハテ / 夏目悠李【NNSVSカバー】
Maplestyleです。
・原曲：小林オニキス
・参考UST：cheesum and ekkoberry
・調整：Maplestyle(mylist/44734071) @maple_style
・歌：夏目悠李
・ENUNUプラグイン：CrazY
・夏目悠李 歌声データベース制作：アマノケイ&霧野蒼太(user/41335985)
※このカバーはENUNU_夏目悠李_RMDN_v0.0.1で作っています。
【黒昴宿- AI Song-β】 夏ひらく青春(山口百恵)【ENUNU(NNSVS)カバー】
◾︎こんにちは。ATSUYAです。のど自慢…ということで好きな歌謡曲を歌わせました。
◾︎原曲歌手/ 山口百恵 様
◾︎作詞 / 都倉俊一 様
◾︎作曲 / 千家和也 様
◾︎編曲 / 穂口雄右 様
◾︎Vocal / 黒昴宿-AI Song- ver.β https://atsuya19960924.wixsite.com/akasubaru/%E8%A4%87%E8%A3%BD-ai-%E6%AD%8C%E5%A3%B0db
◾︎楽譜データ・調声 / ATSUYA
◾︎offvocal /みるきんホーム 様
◾︎立ち絵 / 蓮鍵 様
◾︎ロゴ / sl△sh 様
◾︎他に投稿したニコニコネット超会議2021の動画達
・sm38624753 (ENUNU(NNSVS))
・sm38624935 (UTAU)
・・sm38625764 (UTAU/DeepVocal/ENUNU(NNSVS)/TALQu)
◾︎音源配布ページ
https://atsuya19960924.wixsite.com/akasubaru
◾︎文字を入力してボタンを押すだけで簡単に喋ってくれる黒昴宿の AI系トークソフト、「黒昴宿 -AI Talk-」も是非聞いて見て下さい(宣伝)。
【sm38625052】
HALC@LOID(NNSVS) 樹海の糸
じゃんPのアイドルマスター 『樹海の糸』 春香ソロ（sm4914451）にNNSVSを使用して深層学習で合成した歌声を付けてみました.
● NNSVSを使用した深層学習版HALC@LOIDの作成方法
用意するもの: xbox360, アイドルマスターL4U, キャプチャボード, NNSVSの実行環境, (NVIDIAのGPU)
1. L4Uで「i」, 「kosmos, cosmos」, 「いっぱいいっぱい」を除く29曲をボーカル有り/ボーカル無しの2条件でキャプチャする(全部で58曲キャプチャする).
2. 1でキャプチャした音源からアカペラ音源を作成する. 位相を反転して足し合わせても良いし歌声りっぷなどのソフトを使っても良い.
3. musicxml形式で各曲のボーカルパートの楽譜を用意する. ニコニ・コモンズに投稿されている midi 音源や www 上に投稿されているピアノ譜などを参考にすると良い
4. 各曲の音素ラベルファイル(各音素がどのタイミングで発声されているか)を作成する. WavesurferまたはAudacityで手作業で作成するか, julius(segmentation-kit)またはSHIROを使って自動でラベリングしても良い
5. NNSVS の egs ディレクトリに含まれる pjs のレシピを参考にして自作音源のレシピを作成する. ofuton_p_utagoe_db, natsume_singing, oniku_kurumi_utagoe_db のレシピは各歌声データベースに合わせてカスタマイズされているので参考にしてはいけない
6. bash run.sh --stage 0 --stop-stage 6 を走らせて数時間～1日程度待つ
【夏目悠李(ENUNU)】邪魔【AIシンガーのど自慢・NNSVSカバー】
霧野蒼太です。
AIシンガーのど自慢参加作品(遅刻)です。
自分の子とも言うべき夏目悠李を初めてちゃんと使いました。
そっくりですね。
原曲 sm32633575
ust ゆづ様(@nixluna_gin)
歌声DB夏目悠李
制作 アマノケイ
収録者 霧野蒼太
https://amanokei.hatenablog.com/entry/2020/04/30/230003
ENUNU
制作 くれいじー様
https://note.com/crazy_utau/n/n45db22b33d2c
RMDNモデル
制作 Tarou Shirani様
調声 霧野蒼太
mylist/46907363
@K_sdcm
DO NOT REPOST THIS SONG AND VIDEO ON ANY SERVICES
HALC@LOID(NNSVS) Blackbird(The Beatles)
日本語歌唱の学習データで英語詞を歌わせるための習作. 映像は適当.
歌声はコンプ, EQ, リバーブ, ディレイをかけていますが, タイミングやピッチ補正はしておらず NNSVS の出力のままです.
【AI式HALC@LOID】浮遊月光街【NNSVSカバー】
原曲: 稲葉曇『浮遊月光街』Vo. 歌愛ユキ sm34347007
参考にした ust: 【櫻花アリス】浮遊月光街【UTAUカバー+UST配布】sm34398772
学習モデル生成, 歌声合成, ミキシング: ひょこおじ
イラスト: かづき(@kAduk0)
【波音リツAI】耳のあるロボットの唄【NNSVSカバー】
曲: 【UTAU】耳のあるロボットの唄(オリジナル)【重音テト】[1]
使用歌声データベース: 「波音リツ」歌声データベース [2]
イラスト: kikunoji [3]
使用レシピ: nnsvs_namine_ritsu_utagoe_db [4]
1. https://www.nicovideo.jp/watch/nm3611741
2. https://drive.google.com/drive/folders/1XA2cm3UyRpAk_BJb1LTytOWrhjsZKbSN
3. http://canon-voice.com
4. https://github.com/taroushirani/nnsvs_namine_ritsu_utagoe_db
歌声はコンプ, EQ, リバーブをかけていますが, タイミングやピッチ補正はしておらず NNSVS の出力のままです.
NNSVS settings:
timelag model: FeedForwardNet num_layers: 2 hidden_dim: 128
duration model: RMDN num_gaussians: 4 num_layers: 2 hidden_dim: 256
acoustic model: RMDN with mlpg num_gaussians: 4 num_layers: 2 hidden_dim: 256 dim_wise: true
【黒昴宿 -AI Song-】フォニイ【NNSVS(ENUNU)カバー】
◾︎こんにちは。ATSUYAです。9/6(クロの日)なので語呂合わせ投稿です。
◾︎今年の 2021/09/23に黒昴宿が7周年を迎えます。AIで歌う【-AI Song-】、AIで喋る【-AI Talk-】を配布する予定です (UTAU音源と DeepVocal音源の更新・配布もします)。
◾︎本家 / ツミキ 様
【https://www.youtube.com/watch?v=9QLT1Aw_45s】
【https://www.nicovideo.jp/watch/sm38833751】
◾︎UST / Alt236679 様
【https://www.nicovideo.jp/watch/sm38845144】
◾︎Vocal / / 黒昴宿 -AI Song- (NNSVS(ENUNU))
◾︎調声・動画・イラスト・MIX / ATSUYA
◾︎音源配布ページ
https://atsuya19960924.wixsite.com/akasubaru
【黒昴宿 -AI Song-】有漏の町【ENUNU (NNSVS)カバー】
■こんにちは、ATSUYAです。黒昴宿7周年になったので 黒昴宿の AIモデルを配布します。
■こういう曲も似合いそうだなと思いつつ大好きなこの曲を歌わせてみました。PVに使用した黒昴宿立ち絵のPSDデータのURLリンク張っときます。【https://bowlroll.net/file/262696 】pass:kuro
■バラードやジャズ、歌謡曲などの落ち着いた曲が得意な ムーディーで大人びた声の男声音源モデルです。UTAU上で扱う【ENUNU】、NNSVS と ENUNUの 混合学習用として使用する【歌声データベース】の2種類配布します。
■ENUNUの使い方
▲アマノケイ 様
【https://www.nicovideo.jp/watch/sm38958682 】
【https://www.youtube.com/watch?v=dXfDD5eKDkw 】
▲センターポンチ 様
【https://www.nicovideo.jp/watch/sm39263212 】
■NNSVSの使い方
▲山本りゅういち 様
【https://r9y9.github.io/blog/2020/05/10/nnsvs/ 】
■ご本家 / ふる 様
【https://www.nicovideo.jp/watch/sm18667860 】
【https://www.youtube.com/watch?v=IwmEGUI67i8 】
■動画 /MIX /イラスト / 調声 / UST
ATSUYA
■Vocal (Main)
黒昴宿 -AI Song-
(Chorus)
黒武光河 -AI Song-
■音源HP (voiceDL)
https://atsuya19960924.wixsite.com/akasubaru
【黒昴宿 -AI Song-】クイーンオブハート【ENUNU (NNSVS)カバー】
■こんにちは、ATSUYAです。黒昴宿7周年になったので 黒昴宿の AIモデルを配布します。
■真っ先に歌わせたかったので歌わせてみました。-2キーで歌わせてます。
■バラードやジャズ、歌謡曲などの落ち着いた曲が得意な ムーディーで大人びた声の男声音源モデルです。
■UTAU上で扱う【ENUNU】、NNSVS と ENUNUの 混合学習用として使用する【歌声データベース】の2種類配布します。
■ENUNUの使い方
▲アマノケイ 様
【https://www.nicovideo.jp/watch/sm38958682 】
【https://www.youtube.com/watch?v=dXfDD5eKDkw 】
▲センターポンチ 様
【https://www.nicovideo.jp/watch/sm39263212 】
■NNSVSの使い方
▲山本りゅういち 様
【https://r9y9.github.io/blog/2020/05/10/nnsvs/ 】
■ご本家 / 奏音69 様
【https://www.nicovideo.jp/watch/sm24056707 】
【https://www.youtube.com/watch?v=jbVVlJU3Nqg 】
■UST / cillia 様
【https://www.nicovideo.jp/watch/sm25928020 】
【https://www.youtube.com/watch?v=uZTrj3I4tTw 】
■動画 /MIX / 調声
ATSUYA
■イラスト
Masahiro 様
■Vocal
黒昴宿 -AI Song-
■2番直後のコーラス
御丹宮くるみ (ENUNU)
おふとんP歌声DB
くれぽっぽ (ENUNU)
黒武光河 -AI Song-
夏目悠李
波音リツ AI
Haruqa (ENUNU)
PIX AI
湯鬱声からす AI
■音源HP (voiceDL)
https://atsuya19960924.wixsite.com/akasubaru
【黒昴宿 -AI Song-】ミゾオチ【ENUNU (NNSVS)カバー】
■こんにちは、ATSUYAです。黒昴宿7周年になったので 黒昴宿の AIモデルを配布します。
■ロック系もイケそうかなって思いカバーしました。意外と歌える。-2キーで歌わせてます。
■バラードやジャズ、歌謡曲などの落ち着いた曲が得意な ムーディーで大人びた声の男声音源モデルです。UTAU上で扱う【ENUNU】、NNSVS と ENUNUの 混合学習用として使用する【歌声データベース】の2種類配布します。
■ENUNUの使い方
▲アマノケイ 様
【https://www.nicovideo.jp/watch/sm38958682 】
【https://www.youtube.com/watch?v=dXfDD5eKDkw 】
▲センターポンチ 様
【https://www.nicovideo.jp/watch/sm39263212 】
■NNSVSの使い方
▲山本りゅういち 様
【https://r9y9.github.io/blog/2020/05/10/nnsvs/ 】
■ご本家 / buzzG 様
【https://www.nicovideo.jp/watch/sm38408211 】
【https://www.youtube.com/watch?v=3HSf_SLTaRU 】
■UST / Pifuyuu 様
【https://www.nicovideo.jp/watch/sm38413125 】
【https://www.youtube.com/watch?v=uBdBGiE9i70 】
■ イラスト
khronosk 様
■動画 / MIX / 調声
ATSUYA
■Vocal (Main)
黒昴宿 -AI Song-
(Chorus)
黒昴宿 -Black Star- ver1.20
■音源HP (voiceDL)
https://atsuya19960924.wixsite.com/akasubaru
【黒昴宿 -AI Song-】シャルル -Jazz Arrange-【ENUNU (NNSVS)カバー】
■こんにちは、ATSUYAです。黒昴宿7周年になったので 黒昴宿の AIモデルを配布します。
■似合いますね。黒昴宿 -AI Song- はこういうのが似合います。
■バラードやジャズ、歌謡曲などの落ち着いた曲が得意な ムーディーで大人びた声の男声音源モデルです。
■UTAU上で扱う【ENUNU】、NNSVS と ENUNUの 混合学習用として使用する【歌声データベース】の2種類配布します。
■ENUNUの使い方
▲アマノケイ 様
【https://www.nicovideo.jp/watch/sm38958682 】
【https://www.youtube.com/watch?v=dXfDD5eKDkw 】
▲センターポンチ 様
【https://www.nicovideo.jp/watch/sm39263212 】
■NNSVSの使い方
▲山本りゅういち 様
【https://r9y9.github.io/blog/2020/05/10/nnsvs/ 】
■ご本家 / バルーン (須田景凪) 様
【https://www.nicovideo.jp/watch/sm29822304 】
【https://www.youtube.com/watch?v=TA5OFS_xX0c 】
■アレンジ / kahimi 様
【https://www.nicovideo.jp/watch/sm34710909 】
【https://www.youtube.com/watch?v=VKkPnjTmJtE 】
■UST / ﾉﾁｬ 様
【https://www.nicovideo.jp/watch/sm34996682 】
■MIX / 調声
ATSUYA
■立ち絵
蓮鍵 様
■Vocal
黒昴宿 -AI Song-
■音源HP (voiceDL)
https://atsuya19960924.wixsite.com/akasubaru
【AI式HALC@LOID】ハルノ寂寞【NNSVSカバー】
原曲: 稲葉曇『ハルノ寂寞』Vo. 弦巻マキ sm38728089
参考にした ust: ばにらあいす氏(現在非公開)
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
【AI式HALC@LOID】アンチサイクロン【NNSVSカバー】
原曲: 稲葉曇『アンチサイクロン』Vo. 歌愛ユキ sm35909360
参考にした ust: ばにらあいす氏(現在非公開)
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
【AI式HALC@LOID】ハローマリーナ【NNSVSカバー】
原曲: 稲葉曇『ハローマリーナ』Vo. 歌愛ユキ & 初音ミク sm39646734
参考にした ust: 【黯冥ダスト】ハローマリーナ【UTAUカバー&ust配布】 sm39649483
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
アイドルマスター 天海春香 WISH
Visual M@ster 2021 遅刻作品 / 伴奏は "WISH/LUNASEA/カラオケ用" (https://www.youtube.com/watch?v=JI56Kz7Eu1M) から無断で拝借して候 / オリジナルキー+5 / HALC@LOID(NNSVS) - WISH(LUNA SEA)
【AI式HALC@LOID】絶体暗星【NNSVSカバー】
原曲: 稲葉曇 絶体暗星 https://www.youtube.com/watch?v=lYtZ5oMs3_8
参考にした ust: coolkiwiii 【巡音ルカ】絶体暗星【VOCALOIDカバー】+VSQ/UST/SVP/MIDI sm39972572
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
オフボーカル音源は spleeter ( https://github.com/deezer/spleeter ) で作成しています. 歌愛ユキの歌声は
spleeterとの相性が良いのかかなり綺麗に分離することができます(2022/6/12追記).
【AI式HALC@LOID】紗痲【NNSVSカバー】
原曲: ∴flower『紗痲』/ 煮ル果実 sm33974546
アレンジ: 稲葉曇 https://twitter.com/inabakumori/status/1110154553138118656
参考にした ust: 【ZOLA_PROJECT】紗痲【MMDボカロカバー+ust配布】 sm38910522
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
【AI式HALC@LOID】きみに回帰線【NNSVS新音響モデル】
祝・ウェザーステーション発売 & NNSVS新音響モデル実装!
NNSVSでsinsyの最近の論文を元に実装されたResSkipF0FFConvLSTMを使ってみましたが, 一部の滑舌が不明瞭になるなどまだ工夫が必要そうです(改良されたduration予測は大変良い).
原曲: 稲葉曇『きみに回帰線』Vo. 歌愛ユキ https://www.nicovideo.jp/watch/sm40230104
musicxml: https://bowlroll.net/file/276648 (pass: wahhoi)
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
timelag model: MDN, hidden_dim 32, num_layers 3, num_gaussians 1
duraion model: MDN, hidden_dim 256, num_layers 3, num_gaussians 1
acoustic model: ResSkipF0FFConvLSTM, conv_hidden_dim 1024, lstm_hidden_dim 256, ff_hidden_dim 2048, dropout: 0.0, bidirectional True
vibrato model: sine
【AI式HALC@LOID】天泣【NNSVS+Hn-sinc-NSF】
NNSVSのdevブランチで開発中のParallelWaveGANサポートを使用して, 音声の出力をPyWorldからNEUTRINOでも採用されているHn-sinc-NSFに変更してみました. 音響モデルはResidual F0を使った新しい音響モデルが学習データ不足で安定しないため従来のままです.
原曲: 稲葉曇 天泣 https://www.youtube.com/watch?v=1_8pQVYJtwQ
musicxml: https://bowlroll.net/file/276647 (pass: wahhoi)
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
【AI式HALC@LOID】篝火【NNSVSカバー】
Hn-sinc-NSFは学習データの音域から外れると著明に合成結果が悪くなるので今回はWorldで合成しました. 一部歌詞を改変しています.
原曲: ちいたな 『篝火』- IA - sm34128998
アレンジ: 稲葉曇 https://www.youtube.com/watch?v=2A46CwhV4aE
musicxml: https://bowlroll.net/file/277823 (pass: wahhoi)
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
THE iDOLM@STER HARUKA AMAMI Brand New Sunset
F@VORITE M@STER参加作品/HALC@LOID(NNSVS) - Brand New Sunset(Hi-STANDARD)/オリジナルキー+3/一部歌詞を改変しています
timelag model: MDN, hidden_dim 32, num_layers 3, num_gaussians 1
duraion model: MDN, hidden_dim 256, num_layers 3, num_gaussians 1
acoustic model: Conv1dResnetRMDN, conv1dresnet_hidden_dim 32, lstm_hidden_dim 256, conv1dresnet_num_layers 10, lstm_num_layers 2, num_gaussians 4, dropout 0.1, dim_wise True
vibrato model: diff
vocoder: ParallelWaveGAN(Hn-sinc-NSF)
【AI式HALC@LOID】とこしずめ【NNSVSカバー】
原曲: 稲葉曇『とこしずめ』Vo. 星界 sm40564386
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
【AI式HALC@LOID】カゼマチグサ【NNSVSカバー】
最新版のNNSVSの更新でmasterに入ったGAN based mgc postfilter に挑戦しましたが, 学習データにリバーブなどのエフェクトが掛かっていると上手く学習できないようです(今回は従来の merlin postfilter で合成)
--
原曲: 稲葉曇『カゼマチグサ』Vo. 鳴花ヒメ sm37136620
参考にしたust: ばにらあいす氏の ust https://lit.link/Vanilla9831
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
【AI式HALC@LOID】シンクタンク【NNSVSカバー】
思い出してもらいたいな / Voc@loidM@ster祭り'22フライング参加作品
--
原曲: 稲葉曇『シンクタンク』Vo. 裏命 sm40978472
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
【AI式HALC@LOID】レイニーブーツ【NNSVS-WORLD v4(自己回帰モデル)+ParallelWaveGAN】
原曲: 稲葉曇『レイニーブーツ』Vo. 歌愛ユキ sm38927801
参考にしたust: ばにらあいす氏の ust https://lit.link/Vanilla9831
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
----
NNSVSの最近の音響モデルに関して得られた知見
・2021年頃のAI式HALC@LOIDで採用していたRMDNと比較して大量の学習データが必要. NNSVS-WORLD v4(自己回帰モデル)で1h, NNSVS-WORLD v5(拡散モデル)で2h以上
・学習データ量が足りないと音程の他に音量(低次のmgcが関係)も不安定になり音痴に聴こえる
・学習データ量が足りない場合は pitch-shift data augmentation (以下PSDAと省略)という手法で
学習データを拡張することで音程や音量が安定化させることができる(場合がある) (参考: https://github.com/nnsvs/nnsvs/blob/master/utils/pitch_augmentation.py )
・PSDA で学習データを拡張しても元の学習データ量が30分程度だと NNSVS-WORLD v5で良好な結果を得ることは難しい
・有声/無声の誤推定が目立つ場合は vuv_model から mgc に対する依存を外した方が良い
・新しく採用されたニューラルボコーダである HN-uSFGAN, SiFiGAN はどちらも素晴しい出力が得られるが, 学習データにリバーブ等のノイズが乗っている場合は ParallelWaveGAN(Hn-sinc-NSF)の方がノイズに対して堅牢である(気がする)