キーワード Real-ESRGAN が含まれる動画 ： 69 件中 1 - 32 件目
種類:
- タグ
- キーワード
対象:
ずんだもんのML技術解説講座：ノイズがある画像をきれいに拡大してくれる超解像 Real ESRGAN
公式リポジトリ
https://github.com/xinntao/Real-ESRGAN
サンプルコード
https://github.com/xiong-jie-y/ml-examples/tree/master/real_esrgan
動画作成者のTwitterアカウント
https://twitter.com/_xiongjie_
〜〜クレジット〜〜
音声読み上げ
VOICEVOX:ずんだもん
https://voicevox.hiroshiba.jp/
立ち絵
東北シリーズ公式
https://zunko.jp/con_illust.html
背景
しま様
https://commons.nicovideo.jp/material/nc254808
[超高画質化] 素晴らしき日々 ～不連続存在～ OPムービー 1080p
![[超高画質化] 素晴らしき日々 ～不連続存在～ OPムービー 1080p](https://nicovideo.cdn.nimg.jp/thumbnails/39693087/39693087.81588728)
最新の超高画質化技術であるReal-ESRGANを使用してすばひびのOPを高画質化してみました。
PC
Asus ROG Zephyrus G14 GA401IV（AMD Ryzen 9 4900HS & NVIDIA GeForce RTX 2060 with Max-Q Design）
時間
3時間程度
使用ソフト
・Real-ESRGAN ncnn Vulkan
超高画質化ソフトの本体です。Vulkanが動けばどのPCでも動きます。最新のPCなら問題ないかと。
注意点は標準4倍拡大のため元の解像度が高いと膨大な時間がかかります。
・Cupscale
上記のソフトを動かす支援ソフトです。動画ファイル投げて放置すれば勝手に完成します。
・Neat Video v5(Adobe After Effectsから使用)
元の動画がブロックノイズがひどくAIが補正失敗していたので事前のノイズ除去の為に使用。
・Aviutll
拡大結果が4Kになったので縮小のために使用。
使用モデル
・RealESRGAN_x4plus_anime
今年9月の初めに出たアニメに特化したモデルです。
追記 2021/12/12
RealESRGANのアニメーション動画特化モデル、RealESRGANv2-animevideo-xsx2とRealESRGANv2-animevideo-xsx4が登場しました。
特にRealESRGANv2-animevideo-xsx2では拡大率が2倍でありHDぐらいの画質を求めている人におすすめです。
勿論拡大率が下がっているため処理時間が大幅に短くなるメリットがあります。
詳しくは公式のGithub( https://github.com/xinntao/Real-ESRGAN )をご参照ください。
プレゼン動画を自動的に作成するプログラムの試作
この動画は、創作＋機械学習 Advent Calendarの12月6日の動画です。
https://adventar.org/calendars/6442
Twitterアカウント
https://twitter.com/_xiongjie_
〜〜クレジット〜〜
音声読み上げ
VOICEVOX:ずんだもん
https://voicevox.hiroshiba.jp/
立ち絵
東北シリーズ公式
https://zunko.jp/con_illust.html
背景
しま様
https://commons.nicovideo.jp/material/nc254808
4:25付近のつくよみちゃん
イラスト：花兎*様
https://tyc.rei-yumesaki.net/material/illust/
4:25付近のつくよみちゃん
キャラクター：フリー素材キャラクターつくよみちゃんの公式サイト
https://tyc.rei-yumesaki.net
〜〜紹介したライブラリ〜〜
voicevox
https://voicevox.hiroshiba.jp/
シロワニさんのつくよみちゃんトークソフト
https://shirowanisan.com/tyc-talksoft
ginza
https://megagonlabs.github.io/ginza/
simpletransformers
https://simpletransformers.ai/
talking head anime 2
https://github.com/pkhungurn/talking-head-anime-2-demo
face expression ja
https://huggingface.co/spaces/xiongjie/face-expression-ja-example
sentiment_ja
https://github.com/sugiyamath/sentiment_ja
real esrgan for anime
https://github.com/xinntao/Real-ESRGAN/blob/master/docs/anime_model.md
realtime srgan for anime
https://huggingface.co/spaces/xiongjie/realtime-SRGAN-for-anime-example
ef - the first tale. デモムービー「悠久の翼」高画質 1080p『ef - a fairy tale of the two.』【FHD Real-ESRGAN upconvert】
試しにやってみました。
■修正版
sm40284787
■YouTube版
https://youtu.be/QMwUR9KFsTE
◼️waifu2xアプリ書き出し設定
→モデル：Real-ESRGAN
→バリエーション：アニメ - 2倍（動画）
→コーデック：H.264(MP4)
→継ぎ目防止（アニメ）：低
→パッチサイズ：20(最大値)
『すぴぱら - Spring Has Come !』デモムービー「Magical Happy Show！」Machico【minori】高画質【1440p Real-ESRGAN upconvert】
すぴぱらのデモムービーをSteamからダウンロード(1270×720)してきてiOSにあるwaifu2xアプリで1440pにアップコンバートしてみました。
◼️YouTube高画質1440p版
https://youtube.com/watch?v=DNbgvbw8PjA&feature=share
◼️Steamの720p版をそのままアップした方の動画
https://youtube.com/watch?v=oGi2wOw_y7M&feature=share
◼️他の先駆者様の動画
【真・ヌルヌル超高画質 8K 60fps】すぴぱら OP - Magical Happy Show !【minori】w/ AIフレーム補間、AI超解像技術、384kHz音質向上
https://youtube.com/watch?v=3cQl-eRGwBk&feature=share
すぴぱら OP 1440p A.I.Gigapixel
https://youtube.com/watch?v=atAt1dOtAEg&feature=share
◼️すぴぱらのSteam版ダウンロードサイト
https://store.steampowered.com/app/496350/Supipara__Chapter_1_Spring_Has_Come/
◼️使用端末
iPad Air(第3世代)
◼️waifu2xアプリ書き出し設定
→モデル：Real-ESRGAN
→バリエーション：アニメ - 2倍（動画）
→コーデック：H.264(MP4)
→継ぎ目防止（アニメ）：低
→パッチサイズ：20(最大値)
【AIアプコン】『かみちゅ！』OP
アップコンバートのテスト。
元ソース1080p→AIモデルを使用し4Kアップコンバート→1080pダウンコンバート
使用モデル:Real-ESRGAN ncnn Vulkan
アプコン時にやや強めの補正がかかったのか、元に比べるとバッキバキの映像になってしまいましたよ。ええ。
【ミリシタMV】鳥籠スクリプチュア - 天空橋朋花 1080p24
Real-ESRGANで1280x720を3840x2160にアプコンして、それを1920x1080に縮小。
かつてのHQみたいになりますね。
公式が動作解像度の制限を緩めてくれればいいのですが、いつになるのやら。
投稿したMV：mylist/58717869
【アプコン】リフレインキス - スコーピオ 1080p24【ミリシタMV】
Real-ESRGANで1280x720を3840x2160にアプコンして、それを1920x1080に縮小。
HQでもどうにもならなかったテクスチャ部分も処理されるのがいい感じ。
投稿したMV：mylist/58717869
AI Kyoko
ぜんぶAIで作りました
音楽生成AI：OpenAI Jukebox
歌詞生成AI：KEYWORD TO LYRICS
画像生成AI：WaifuDiffusion
画像生成AI追加学習：DreamBooth
動画生成AI：DeforumDiffusion
高画質化AI：AnimationKit（Real-ESRGAN+RIFE）
作り方とかAIとMAについての考え書き散らしとか
https://www.sola309.com/%E3%83%96%E3%83%AD%E3%82%B0/ai%E3%81%AB%E3%82%88%E3%81%A3%E3%81%A6mad%E3%81%8C%E4%BB%8A%E5%BE%8C%E3%81%A9%E3%81%86%E3%81%AA%E3%82%8B%E3%81%8B%E5%A6%84%E6%83%B3%E5%95%8F%E9%A1%8C%E6%8F%90%E8%B5%B7%E3%81%A8%E6%A5%BD%E3%81%97%E3%81%BF%E6%96%B9
AniPAFE2022に参加させていただいております
テーマ:「新時代」
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
イベント詳細：https://anipafe.hatenablog.com/entry/AniPAFE2022
参加作品リスト：mylist/73515264
参加作品一覧：https://anipafe.hatenablog.com/entry/2022/05/08/205657
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
今まで作ったMADとか：mylist/24601341
例のAIが描いた妖怪ウォッチ風の絵
今はやりのAIに絵を描いてもらいました。
どれもそれっぽい、某国のパチもん玩具のパッケージのような仕上がりとなっております。
「妖怪ウォッチ」と「ジバニャン」は認識しているようですが、「ウィスパー」や「ふぶき姫(Blizzaria)」は知らないようです。
作成はこんな感じとなっております。ニコニコでは表現できないと思いますが、ソースは4K動画となっており生成に丸１日かかりました。
1 Stable Diffusionで生成
2 Real-ESRGANで高解像度化
3 いつもの自作ツールで静止画100枚を動画化
4K解像度に興味があるようでしたらYoutubeでご覧ください。
https://youtu.be/t-wv7_LFCAg
【ニコカラ FHD】ｳｯｰｳｯｰｳﾏｳﾏ(ﾟ∀ﾟ) Caramelldansen / Caramell（On Vocal）
▼ぴょこぴょこダンスの「ｳｯｰｳｯｰｳﾏｳﾏ(ﾟ∀ﾟ)（Caramelldansen Speedycake Remix）」（本家様→sm3340554）がとても好きなので、フル HD 59.94 fps のニコカラにさせていただきました。
▼スウェーデン語歌詞と日本語歌詞（空耳歌詞）を併記していますので、カラオケで歌いやすいほうでどうぞ。
▼オンボ→ここ オフボ→なし
▼フル HD への拡大は Real-ESRGAN を使いました（realesr-animevideov3）。
▼本ニコカラはニコカラメーカー 2 Ver 12.53 で作成しています。
▼ニコカラメーカー 2 の機能のうち、本ニコカラで使用した主な機能……字幕アクション（文字単位フェード）、ブラー、マイナス歌詞間隔、タイトル挿入、タイトルアクション（フェード）、字幕ワイプを 2 倍滑らかにする（フレームレート倍増）、一括ワイプタイミング調整、行頭のみ早めにワイプ、スマート水平配置（00:47）、インライングラフィックス（絵文字アイコン）、複数歌詞ファイル読み込み
▼ニコカラメーカー 2 公式サイト……http://shinta.coresv.com/software/nicokaramaker2-jpn/
▼ニコカラの作り方説明記事……http://shinta0806be.ldblog.jp/archives/9544780.html
▼作品リスト：mylist/8819451 ニコカラリスト：mylist/56023896
ぼくドラえもん【高画質版】
sm18348664が削除され早11年、bilibiliで元画質版【 https://m.bilibili.com/video/BV1gx411F7wW 】を発掘！更にReal-ESRGANで高画質化も出たぁ！
さらに高画質になった翠星石がゆでたまごを作るようです
だ、ダメだよーっ！
ローゼンメイデン・トロイメント（２期）の第５話より、ゆでたまごvOで有名なあのっ！？シーンです
DBからReal-ESRGANで4Kアプコン済
【無職の子】 初音ミク 重音テト 【YOASOBI「アイドル」】
ミクさんとテトさんで【無職の子】
youtube【Real-ESRGAN-GUI AI 4Kコンバート版】
https://www.youtube.com/watch?v=bboLCoKrP9o
曲
【無職の子】一身上都合子様【無職の子】
https://youtu.be/AlQARGMqLtI
モーション
【アイドル】卜逻desu様
https://youtu.be/YH__-x3qDYo
カメラ
ひな様
https://youtu.be/7xinNUqY01o
モデル
初音ミク(ks)Ver105ｋａｋａｓｈｉｔｏｓｕｚｕｍｅ様 im8023218
Tda式改変重音テトVer3 remii 様 sm31762896
高画質化AIでｳｯｰｳｯｰｳﾏｳﾏ(ﾟ∀ﾟ)
高画質化AIを使って1080pでｳｯｰｳｯｰｳﾏｳﾏ(ﾟ∀ﾟ)
ｳｯｰｳｯｰｳﾏｳﾏ(ﾟ∀ﾟ) PV 高画質 H.264 sm3340554
Real-ESRGAN https://github.com/xinntao/Real-ESRGAN
ぬるぬる大物youtuber 森永濃いリッチプリンを食べてみた！ FHD60fps補間版
ぬるぬる無職が見たかったのでアプコンとフレーム補間試してみただで…
Real-ESRGAN(esrgan-x4plus)とFlowFrames(RIFE)だで
ぬるぬる大物youtuber ハレ晴れユカイを歌ってみた FHD60fps補間版
ぬるぬる無職が見たかったのでアプコンとフレーム補間試してみただで…
高画質な元動画なかったから画質悪くてｺﾞﾒﾝﾅｻｲﾈｰ
Real-ESRGAN(esrgan-x4plus)とFlowFrames(RIFE)でｽｩｩｩｩ
【ニコカラ】コロナ・ブロッサム OP「Happy! Corona Blossom」桃井はるこ
コロナ・ブロッサム OP「Happy! Corona Blossom」
歌：桃井はるこ さん
公式
http://coroblo.com/jp/
動画お借りしました。
https://www.youtube.com/watch?v=qOj4eSMTaUk
off vocal版
https://www.nicovideo.jp/watch/sm45071941
画像アップコンバート
Real-ESRGAN
使用ツール：
RhythmicaLyrics
ニコカラメーカー3
aviutl
自作ツールもろもろ
【ニコカラ】コロナ・ブロッサム OP「Happy! Corona Blossom」桃井はるこ【off vocal】
コロナ・ブロッサム OP「Happy! Corona Blossom」
歌：桃井はるこ さん
公式
http://coroblo.com/jp/
動画お借りしました。
https://www.youtube.com/watch?v=qOj4eSMTaUk
on vocal版
https://www.nicovideo.jp/watch/sm45071931
"Transpose ▲▼ pitch"などのChrome拡張機能を使えばキーの変更が出来ますので、持ち込みカラオケにどうぞ。
ボーカル分離にDemucsライブラリを使っています。
画像アップコンバート
Real-ESRGAN
使用ツール：
RhythmicaLyrics
ニコカラメーカー3
aviutl
自作ツールもろもろ
【ニコカラ】プリンセス小夜曲 OP「Power of Love」真理絵
プリンセス小夜曲 OP「Power of Love」
歌：真理絵 さん
公式OPそのまま使ったらまた規制されました。AIってすごいね。
off vocal版
https://www.nicovideo.jp/watch/sm45078242
画像アップコンバート
Real-ESRGAN
使用ツール：
RhythmicaLyrics
ニコカラメーカー3
aviutl
自作ツールもろもろ
【ニコカラ】プリンセス小夜曲 OP「Power of Love」真理絵【off vocal】
プリンセス小夜曲 OP「Power of Love」
歌：真理絵 さん
公式OPそのまま使ったらまた規制されました。AIってすごいね。
on vocal版
https://www.nicovideo.jp/watch/sm45078224
"Transpose ▲▼ pitch"などのChrome拡張機能を使えばキーの変更が出来ますので、持ち込みカラオケにどうぞ。
ボーカル分離にDemucsライブラリを使っています。
画像アップコンバート
Real-ESRGAN
使用ツール：
RhythmicaLyrics
ニコカラメーカー3
aviutl
自作ツールもろもろ
【ニコカラ】星空へ架かる橋 ED「広がる夜空の下で」青葉りんご
星空へ架かる橋 ED「広がる夜空の下で」
歌：青葉りんご さん
公式
http://www.feng.jp/hoshi/top.html
off vocal版
https://www.nicovideo.jp/watch/sm45078368
画像アップコンバート
Real-ESRGAN
claudeで画像を分析してプロンプトを作成、Microsoft Designerで画像生成
使用ツール：
RhythmicaLyrics
ニコカラメーカー3
aviutl
自作ツールもろもろ
【ニコカラ】星空へ架かる橋 ED「広がる夜空の下で」青葉りんご 【off vocal】
星空へ架かる橋 ED「広がる夜空の下で」
歌：青葉りんご さん
公式
http://www.feng.jp/hoshi/top.html
on vocal版
https://www.nicovideo.jp/watch/sm45078362
"Transpose ▲▼ pitch"などのChrome拡張機能を使えばキーの変更が出来ますので、持ち込みカラオケにどうぞ。
ボーカル分離にDemucsライブラリを使っています。
画像アップコンバート
Real-ESRGAN
claudeで画像を分析してプロンプトを作成、Microsoft Designerで画像生成
使用ツール：
RhythmicaLyrics
ニコカラメーカー3
aviutl
自作ツールもろもろ
【ニコカラ】マテリアルブレイブ ED「Identity」片霧烈火
マテリアルブレイブ ED「Identity」
歌：片霧烈火 さん
ワイプ版が無いようですので作りました。
https://www.nicovideo.jp/watch/sm17414239
動画お借りしました。
off vocal版
https://www.nicovideo.jp/watch/sm45081281
画像アップコンバート
Real-ESRGAN
使用ツール：
RhythmicaLyrics
ニコカラメーカー3
aviutl
自作ツールもろもろ
【ニコカラ】TRakker Somersault「Future & Aquarium (TRakker Ver)」
サークル：TRakker
アルバム：Somersault
タイトル：Future & Aquarium (TRakker Ver
ボーカル：青葉りんご さん
off vocal版
https://www.nicovideo.jp/watch/sm45083946
画像アップコンバート
Real-ESRGAN
使用ツール：
RhythmicaLyrics
ニコカラメーカー3
aviutl
Microsoft Designer
自作ツールもろもろ
【ニコカラ】TRakker Somersault「Future & Aquarium (TRakker Ver)」【off vocal】
サークル：TRakker
アルバム：Somersault
タイトル：Future & Aquarium (TRakker Ver
ボーカル：青葉りんご さん
on vocal版
https://www.nicovideo.jp/watch/sm45083937
"Transpose ▲▼ pitch"などのChrome拡張機能を使えばキーの変更が出来ますので、持ち込みカラオケにどうぞ。
ボーカル分離にDemucsライブラリを使っています。
画像アップコンバート
Real-ESRGAN
使用ツール：
RhythmicaLyrics
ニコカラメーカー3
aviutl
Microsoft Designer
自作ツールもろもろ
【ニコカラ】カーラ The Blood Lord OP「ラストノート」舞子
カーラ The Blood Lord OP「ラストノート」
歌：舞子 さん
公式
https://www.lilith-soft.com/anime/product08
off vocal版
https://www.nicovideo.jp/watch/sm45085351
画像アップコンバート
Real-ESRGAN
使用ツール：
RhythmicaLyrics
ニコカラメーカー3
aviutl
自作ツールもろもろ
【ニコカラ】カーラ The Blood Lord OP「ラストノート」舞子【off vocal】
カーラ The Blood Lord OP「ラストノート」
歌：舞子 さん
公式
https://www.lilith-soft.com/anime/product08
on vocal版
https://www.nicovideo.jp/watch/sm45085343
"Transpose ▲▼ pitch"などのChrome拡張機能を使えばキーの変更が出来ますので、持ち込みカラオケにどうぞ。
ボーカル分離にDemucsライブラリを使っています。
画像アップコンバート
Real-ESRGAN
使用ツール：
RhythmicaLyrics
ニコカラメーカー3
aviutl
自作ツールもろもろ
【ニコカラ】TRakker Somersault「Rootus」
サークル：TRakker
アルバム：Somersault
タイトル：Rootus
ボーカル：青葉りんご さん
off vocal版
https://www.nicovideo.jp/watch/sm45089830
画像アップコンバート
Real-ESRGAN
使用ツール：
RhythmicaLyrics
ニコカラメーカー3
aviutl
Microsoft Designer
自作ツールもろもろ
【ニコカラ】TRakker Somersault「Rootus」【off vocal】
サークル：TRakker
アルバム：Somersault
タイトル：Rootus
ボーカル：青葉りんご さん
on vocal版
https://www.nicovideo.jp/watch/sm45089806
"Transpose ▲▼ pitch"などのChrome拡張機能を使えばキーの変更が出来ますので、持ち込みカラオケにどうぞ。
ボーカル分離にDemucsライブラリを使っています。
画像アップコンバート
Real-ESRGAN
使用ツール：
RhythmicaLyrics
ニコカラメーカー3
aviutl
Microsoft Designer
自作ツールもろもろ
【ニコカラ】六本木サディスティックナイト OP「INCHOATE LIGHT」川村ゆみ
六本木サディスティックナイト OP「INCHOATE LIGHT」
歌：川村ゆみ さん
公式
https://sus-app.voltage.co.jp/roppongi/
off vocal版
https://www.nicovideo.jp/watch/sm45090087
画像アップコンバート
Real-ESRGAN
使用ツール：
RhythmicaLyrics
ニコカラメーカー3
aviutl
自作ツールもろもろ