迫真AI部 movie2movieの裏技

話題のAI画像生成で動画を変換してみました。Stable Diffusion(AUTOMATIC1111)を魔改造してmovie2movie（動画→動画）変換してます。不安定に見えますが、試行錯誤を経てだいぶ絵っぽく見えてきてます。ただ迫真空手部しか変換してみてないので、今後色々やってみようかと思います。元動画の解像度が低いからか元とかけ離れた画像を生成しまくって、調整すっげぇキツかったゾ...。▼実現方法1. 動画→フレーム出力2. フレームをSwinIRで4倍高解像度化3. ポスタリゼーションをかけて境界をくっきりさせてみました（階調は10弱、ですかね...）4. 画像を512px * 512px にリサイズ5. img2img変換（余力があればここでもう一回高解像度化してみても良いかも。）6. フレーム→動画出力※プロンプトはシーン毎に少しずつ変えてみてます。すべてpythonで自動化、Ryzen9 5900X ＆ RTX2060 で1000フレームあたり3時間ちょっとかかりました。流行らせコラ！あとこちらの動画が面白かったので是非。 sm41227811 追記）ご視聴ありがとナス！近眼AI部作ってくださいました。→ sm41255383 見える見える...。すげぇ！　→　 sm41253923 モザイク君の顔がコロコロ変わるの好き。

http://www.nicovideo.jp/watch/sm41248509