三半規管レイプ! AIと化した先輩

三半規管レイプ! AIと化した先輩

画面酔い注意!絵的に全く違うけど画素的には似ているみたいなのを目指して、前回の動画( sm41248509 )からimg2img変換をするときに元動画フレームと類似比較して、一定以上似ているフレームを選んで出力しています。また出力フレームは4倍高解像度化しつつ、2倍フレーム補完をかけてみました(諸悪の根源)。出力に172433秒かかりました。桁間違ってないです。ちょっと吐きそうです。▼実現方法1. 動画から音声書き出し2. 動画→フレーム出力3. コントラストを上げて境界をくっきりさせてみました。4. 画像を512px * 512px にリサイズ5. img2img変換をかけて元動画フレームと類似比較(imgsim)、一定以上似ているか30回変換かけた中で一番似ているフレームを動画用に出力6. 出力フレームを2048px * 2048px に4倍高解像度化(SwinIR)7. 動画出力8. 2倍フレーム補完(ECCV2022-RIFE)9. ffmpeg-pythonで、1で書き出した音声と合成して、アスペクト比を元動画と合わせるようにトリミングして出力10. 完成できた動画はそのまま上げられて非常に効率的ですね。出力に時間がかかることを除けば...。でも次は何か別の使い方をできないかな~と思ってるので、動画変換はこれでいったん区切りをつけようと思います。因みにimg2img変換はもちろん、類似比較、高解像度化、フレーム補完すべてAIに任せてます。AI万歳!追記)処理はすべてサブグラボ(RTX2060)に任せています。メインはRadeon RX6700XTなんですが、この構成だとcudaを使うとき勝手にNvidia製GPUを使ってくれるので楽でした。処理中もサクサクで他の事が出来たりします。ただGPU温度が80~85℃と危ういので、100%寿命縮めてますねクォレハ...。(エアフロー改善調べて、Thermaltake TOUGHFAN 14 3機ぽちりました。アドバイスありがとナス!)興味持っていただいた方の参考になれば幸いです。

http://www.nicovideo.jp/watch/sm41283114