キーワード OpenPose が含まれる動画 : 33 件中 1 - 32 件目
種類:
- タグ
- キーワード
対象:
MMDモーショントレース自動化への挑戦【ver0.01】
手を抜く為の手間は惜しまないのが信条です。
使用技術:Openpose + 3d-pose-baseline-vmd + VMD-3d-pose-baseline-multi
歌:ゆっくりつぢけん様 sm11134936
ダンス:萌王sky様 nc80785
ライセンス:
Openpose:非商用であれば無料利用可能(商用利用はライセンス要 購入)
3d-pose-baseline-vmd :MIT
VMD-3d-pose-baseline-multi : GNU GPLv3
5/7 導入手順をQiitaにUPしました!
https://qiita.com/miu200521358/items/d826e9d70853728abc51
5/12 ver.0.02が出来ました。→ sm33196005
技術解説はQiita予定。
共同開発者絶賛募集中!
Twitter(@miu200521358)から声をかけてください。
挑戦の記録: mylist/61943776
5/12 沢山の閲覧、コメント、広告ありがとうございます!
5/6 クレジットに、「あにまさ式初音ミク」(あにまさ様) 、MultiMonitor (ビームマンP) が抜けておりました。申し訳ありません ><
5/10 ニコニコ技術部ランキング2位、ありがとうございます!
MMDモーショントレース自動化への挑戦【ver0.04】
センター移動ざっくり導入しました。
【本家】
楽曲:Neru様 sm32921516
踊り:Babo様 sm33220501
利用許諾ありがとうございます!
【使用技術・ライセンス】
Openpose:CMU:非商用であれば無料利用可能(商用利用はライセンス要購入)。スポーツ分野利用制限アリ。
… https://github.com/CMU-Perceptual-Computing-Lab/openpose
起動バッチ:miu200521358:GNU GPLv3
… https://github.com/miu200521358/openpose-simple
Openpose→3D変換:una-dinosauria, ArashHosseini, miu200521358:MIT
… https://github.com/miu200521358/3d-pose-baseline-vmd
3D→VMD変換: errno-mmd, miu200521358:GNU GPLv3
… https://github.com/miu200521358/VMD-3d-pose-baseline-multi
5/19 3d-pose-baseline-vmd、VMD-3d-pose-baseline-multi が、ver0.04になりました。
コメントアウトやログが山ほど残ってますが、ご勘弁。
5/20 起動バッチも修正しました。バッチが正常に起動されてなかった方、お手数ですが再DLお願いします。
5/20 Qiitaに技術解説あげました。 → https://qiita.com/miu200521358/items/2a43d8c7da92eb940a05
5/21 ニュースに取り上げていただきました → http://originalnews.nico/100830 http://kai-you.net/article/53754
挑戦の記録: mylist/61943776
迫真工学部・姿勢の裏技
謝辞
本動画はJPUS科研費 YJSNPI1145148101919の助成を受けたものです。
参考文献
Hzzone, "pytorch-openpose," https://github.com/Hzzone/pytorch-openpose (accessed 1919-8-10)
MMDモーショントレース自動化への挑戦【ver0.06】
キーフレーム間引きました。
【ご本家】
楽曲:Neru様 sm32921516
踊り:Babo様 sm33220501
利用許諾ありがとうございます!
【使用技術・ライセンス】
Openpose:CMU:非商用であれば無料利用可能(商用利用はライセンス要購入)。スポーツ分野利用制限アリ。
… https://github.com/CMU-Perceptual-Computing-Lab/openpose
起動バッチ:miu200521358:GNU GPLv3
… https://github.com/miu200521358/openpose-simple
Openpose→3D変換:una-dinosauria, ArashHosseini, miu200521358:MIT
… https://github.com/miu200521358/3d-pose-baseline-vmd
3D→VMD変換: errno-mmd, miu200521358:GNU GPLv3
… https://github.com/miu200521358/VMD-3d-pose-baseline-multi
VMD-3d-pose-baseline-multi が、ver0.06になりました。
Qiitaはそのうち…
挑戦の記録: mylist/61943776
5/28 使用モデルについてのご意見、ありがとうございます。
確かに自分でも頷けるご意見が多いのですが、MMDに敬意を表して、ミクさんでいかせてください m(_ _)m
MMDモーショントレース自動化への挑戦【ver0.05】
足IKと肩導入しました。
【ご本家】
楽曲:Neru様 sm32921516
踊り:Babo様 sm33220501
利用許諾ありがとうございます!
【ご協力】
江良野(@errno_mmd)様、ろますた38(@Romast38)様。ありがとうございます!
【使用技術・ライセンス】
Openpose:CMU:非商用であれば無料利用可能(商用利用はライセンス要購入)。スポーツ分野利用制限アリ。
… https://github.com/CMU-Perceptual-Computing-Lab/openpose
起動バッチ:miu200521358:GNU GPLv3
… https://github.com/miu200521358/openpose-simple
Openpose→3D変換:una-dinosauria, ArashHosseini, miu200521358:MIT
… https://github.com/miu200521358/3d-pose-baseline-vmd
3D→VMD変換: errno-mmd, miu200521358:GNU GPLv3
… https://github.com/miu200521358/VMD-3d-pose-baseline-multi
VMD-3d-pose-baseline-multi が、ver0.05になりました。
Qiitaはそのうち…
挑戦の記録: mylist/61943776
MMDモーショントレース自動化への挑戦【ver0.09】
・3dpose_ganを部分導入して、足のトレース精度向上を試してみました。
【ご本家】
楽曲:Neru様 sm32921516
踊り:Babo様 sm33220501
利用許諾ありがとうございます!
【使用技術・ライセンス】
Openpose:CMU:非商用であれば無料利用可能(商用利用はライセンス要購入)。スポーツ分野利用制限アリ。
… https://github.com/CMU-Perceptual-Computing-Lab/openpose
起動バッチ:miu200521358:GNU GPLv3
… https://github.com/miu200521358/openpose-simple
Openpose→3D変換:una-dinosauria, ArashHosseini, miu200521358:MIT
… https://github.com/miu200521358/3d-pose-baseline-vmd
Openpose→3D変換その2:Dwango Media Village:MIT
… https://nico-opendata.jp/ja/casestudy/3dpose_gan/index.html
深度推定:Iro Laina, miu200521358:Simplified BSD License
… https://github.com/miu200521358/FCRN-DepthPrediction-vmd
3D→VMD変換: errno-mmd, miu200521358:GNU GPLv3
… https://github.com/miu200521358/VMD-3d-pose-baseline-multi
Githubへの反映は検討中です…
挑戦の記録: mylist/61943776
MMDモーショントレース自動化への挑戦【ver2.00】【MMD杯ZERO3参加動画】
MMD自動トレース、全面的に作り直しました!!!
【改修点】
・ 人物推定のアルゴリズムを、OpenposeからExPoseに変更
・ 人物追跡推定のアルゴリズムに、lighttrackを採用
・ 指の姿勢推定と出力を追加
・ 表情・視線の推定を追加(dlib)
・ モーション生成の参照元モデルを、あにまさ式ミク準標準に固定
・ Colab版もアップデート
-----------------
【ご本家】
B.B.F
楽曲:KIRA様 【sm32149780】
踊り:チーム池袋最強様 【sm37742155】
利用許諾ありがとうございます!
-----------------
【リリース状況】(2020/12/20)
クラウド版(Colab)(ver2.00.00)
アクセス先URL: https://qiita.com/miu200521358/items/fb0a7bcf2764d7797e26
リリース告知動画:sm37986784
解説動画:sm37986816
コンテンツツリー登録先
im10660670
使用技術・ライセンス・クレジット
https://github.com/miu200521358/expose_mmd/wiki/MMD自動トレースv2-ライセンス・クレジット
-----------------
ソースコード → https://github.com/miu200521358
Qiita全体目次 → https://qiita.com/miu200521358/items/d826e9d70853728abc51
MMD自動トレース挑戦の記録: series/87034
MME・MMDツール等 : mylist/63580881
自作MMD作品マイリスト : mylist/47353166
MMDモーショントレース自動化への挑戦【ver0.02】
グローバルX軸の前傾姿勢が直りました。
使用技術:Openpose(CMU) + 3d-pose-baseline-vmd + VMD-3d-pose-baseline-multi
VMD-3d-pose-baseline-multi が、ver0.02になりました。
(https://github.com/miu200521358/VMD-3d-pose-baseline-multi)
技術解説…というかメモ。
https://qiita.com/miu200521358/items/32915b65e07799f9e040
ver0.03ができました → sm33217872
ライセンス:
Openpose:非商用であれば無料利用可能(商用利用はライセンス要 購入)
3d-pose-baseline-vmd :MIT
VMD-3d-pose-baseline-multi : GNU GPLv3
歌:ゆっくりつぢけん様 sm11134936
ダンス:萌王sky様 nc80785
挑戦の記録: mylist/61943776
沢山の閲覧・コメ・広告、ありがとうございます!
MMDモーショントレース自動化への挑戦【ver1.03】
【改修点】
・ 深度推定(センターZ)のアルゴリズムを変更しました
・ 複数人数トレースの際の人物順番推定アルゴリズムを作り直しました
・ Openposeで信頼度が低いデータを振るい落とすようにしました
・ 首・頭の角度を取得できるようにしました
・ 【VMD生成】時の円滑化フィルターパラメーターを変更しました
-----------------
【ご本家】
アルカリレットウセイ
楽曲:かいりきベア様 <sm30105817>
踊り:金剛様 <sm35298446>
利用許諾ありがとうございます!
-----------------
【リリース状況】(1/21)
ローカル版 … ver1.03
https://github.com/miu200521358
※導入手順書(Qiita)未更新
クラウド版(colab) … ver1.03
https://qiita.com/miu200521358/items/fb0a7bcf2764d7797e26
ローカル版の少し楽なインストール手順 … ver1.03:江良野様
https://www.nicovideo.jp/watch/sm35683725
Docker Toolbolx版β(Win10 Home, Win8, Win7) … ver1.02:セルゆかり様
https://bowlroll.net/file/193693
-----------------
使用技術・ライセンス → http://ch.nicovideo.jp/article/ar1686913
ソースコード → https://github.com/miu200521358
Qiita全体目次 → https://qiita.com/miu200521358/items/d826e9d70853728abc51
Qiitaクラウド版説明 → https://qiita.com/miu200521358/items/fb0a7bcf2764d7797e26
MMD自動トレース挑戦の記録: https://www.nicovideo.jp/mylist/61943776
MME・MMDツール等 : https://www.nicovideo.jp/mylist/63580881
自作MMD作品マイリスト : https://www.nicovideo.jp/mylist/47353166
MMDモーショントレース自動化への挑戦【ver0.08】
・深度推定を用いて、センターZ軸を判定するようにしました
・足IKの止めの動作を追加しました。
・間引き角度の初期パラメータ値を減らしました。
ver0.09 → sm33981382
Github反映。
Qiitaに導入手順UPしました。→ https://qiita.com/miu200521358/items/9b45c181c4fd39be9c21
【ご本家】
楽曲:Neru様 sm32921516
踊り:Babo様 sm33220501
利用許諾ありがとうございます!
【使用技術・ライセンス】
Openpose:CMU:非商用であれば無料利用可能(商用利用はライセンス要購入)。スポーツ分野利用制限アリ。
… https://github.com/CMU-Perceptual-Computing-Lab/openpose
起動バッチ:miu200521358:GNU GPLv3
… https://github.com/miu200521358/openpose-simple
Openpose→3D変換:una-dinosauria, ArashHosseini, miu200521358:MIT
… https://github.com/miu200521358/3d-pose-baseline-vmd
深度推定:Iro Laina, miu200521358:Simplified BSD License
… https://github.com/miu200521358/FCRN-DepthPrediction-vmd
3D→VMD変換: errno-mmd, miu200521358:GNU GPLv3
… https://github.com/miu200521358/VMD-3d-pose-baseline-multi
挑戦の記録: mylist/61943776
MMDモーショントレース自動化への挑戦【ver0.11】
・ Openposeの開始フレームNo指定機能追加
・ 初期傾き補正をモーションデータから読み取るよう修正
・ 足FKの【gan】の採用角度を45度→55度に変更
・ OneEuroFilter追加
・ 間引き処理修正(江良野師匠のsmoothvmdより移植)
・ 英語版バッチを作成
・ バルク(一括処理)バッチを作成
【ご本家】
楽曲:Neru様 sm32921516
踊り:Babo様 sm33220501
利用許諾ありがとうございます!
HeartBeatsはこちら。簡易手動調整お試しアリ。 → sm34472827
使用技術・ライセンス → ar1686913
ソースコード → https://github.com/miu200521358
導入手順等 → https://qiita.com/miu200521358/items/d826e9d70853728abc51
挑戦の記録: mylist/61943776
自作MMDマイリスト : mylist/47353166
自作・改変MMEマイリスト : mylist/63580881
MMDモーショントレース自動化への挑戦【ver0.07】- HeartBeat
リクエストをいただいたので、久々に引っ張り出してきました。
ver0.01との比較です。今見るとキッツいw
【ご本家】
楽曲:ゆっくりつぢけん様 sm11134936
踊り:萌えスカイ様/ぁこが様 nc80785
【使用技術・ライセンス】
Openpose:CMU:非商用であれば無料利用可能(商用利用はライセンス要購入)。スポーツ分野利用制限アリ。
… https://github.com/CMU-Perceptual-Computing-Lab/openpose
起動バッチ:miu200521358:GNU GPLv3
… https://github.com/miu200521358/openpose-simple
Openpose→3D変換:una-dinosauria, ArashHosseini, miu200521358:MIT
… https://github.com/miu200521358/3d-pose-baseline-vmd
3D→VMD変換: errno-mmd, miu200521358:GNU GPLv3
… https://github.com/miu200521358/VMD-3d-pose-baseline-multi
挑戦の記録: mylist/61943776
MMDモーショントレース自動化への挑戦【ver0.07】
キーフレーム間引きの見直し・足埋まりの調整を行いました。
【ご本家】
楽曲:Neru様 sm32921516
踊り:Babo様 sm33220501
利用許諾ありがとうございます!
【使用技術・ライセンス】
Openpose:CMU:非商用であれば無料利用可能(商用利用はライセンス要購入)。スポーツ分野利用制限アリ。
… https://github.com/CMU-Perceptual-Computing-Lab/openpose
起動バッチ:miu200521358:GNU GPLv3
… https://github.com/miu200521358/openpose-simple
Openpose→3D変換:una-dinosauria, ArashHosseini, miu200521358:MIT
… https://github.com/miu200521358/3d-pose-baseline-vmd
3D→VMD変換: errno-mmd, miu200521358:GNU GPLv3
… https://github.com/miu200521358/VMD-3d-pose-baseline-multi
VMD-3d-pose-baseline-multi が、ver0.07になりました。
Qiitaはそのうち…
挑戦の記録: mylist/61943776
美少女も思いのまま!ポーズを指定して描いてもらえる!stable diffusion WEB-UI controlnet AIイラスト
WEB-UIのcontrolnetの機能を用いて、ポーズを指定する方法を解説しました。
ツイッターアカウント
https://twitter.com/bisyoujogimonch
「いいね」をしていただけると掛け軸の元ネタをご紹介
■作業手順
1.controlnetを導入。
a.WEB-UI操作
extensionのタブを開く
Install from URLのタブを開く
上段の空欄に
https://github.com/Mikubill/sd-webui-controlnet.git
をコピペしたのちに、Installボタンをクリック。
InstalledのタブをクリックしてApply and restart UIをクリック。
b.ファイルのダウンロードと移動
こちらのリンクに移動
https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main
ファイル名に「canny」または「openpose」と書いてあるものをダウンロードする。
ダウンロードしたファイルを
WEB-UIを導入したフォルダ
↓
stable-diffusion-webui
↓
extensions
↓
sd-webui-controlnet
↓
models
このmodelsフォルダに入れる
2.controlnetの操作
controlnetのメニューをクリックで開く
a.enableにチェックを入れる。
b.Preprocessorで使用したい機能を選ぶ
「canny」または「openpose」
c.modelsでPreprocessorで選択した機能に対応したmodelを選ぶ。
d.とらせたいポーズの画像を「ここに画像をドロップ」の枠にポイッとする。
e.プロンプトを入れたのちにジェネレートでイラスト生成。
■参考データ
sumopaint様
https://sumo.app/sumopaint/
posemaniacs様
https://www.posemaniacs.com/ja
デザインドール様
https://terawell.net/ja/index.php
MMDモーショントレース自動化への挑戦【ver0.03】
頭と肩に回転を分散させてボーン登録行うようにしました。
あと、上半身の傾き判定も直しました。
使用技術:Openpose(CMU) + 3d-pose-baseline-vmd + VMD-3d-pose-baseline-multi
ver0.04出来ました。 → sm33232251
5/16 わー、すみません!音声調整したときのままUPしてしまいました。左だけでご勘弁下さい><
VMD-3d-pose-baseline-multi が、ver0.03になりました。
(https://github.com/miu200521358/VMD-3d-pose-baseline-multi)
技術解説は肩のパラメータ調整ができたらQiitaかな…
歌:ゆっくりつぢけん様 sm11134936
ダンス:萌王sky様 nc80785
ライセンス:
Openpose:非商用であれば無料利用可能(商用利用はライセンス要購入)
3d-pose-baseline-vmd :MIT
VMD-3d-pose-baseline-multi : GNU GPLv3
挑戦の記録: mylist/61943776
沢山の閲覧・コメ・広告、ありがとうございます!
MMDモーショントレース自動化への挑戦【ver0.08】- Heart Beat
説明等は、sm33382189 を参照して下さい。
こっちの方が足止めは見やすいかも。
【ご本家】
楽曲:ゆっくりつぢけん様 sm11134936
踊り:萌えスカイ様/ぁこが様 nc80785
【使用技術・ライセンス】
Openpose:CMU:非商用であれば無料利用可能(商用利用はライセンス要購入)。スポーツ分野利用制限アリ。
… https://github.com/CMU-Perceptual-Computing-Lab/openpose
起動バッチ:miu200521358:GNU GPLv3
… https://github.com/miu200521358/openpose-simple
Openpose→3D変換:una-dinosauria, ArashHosseini, miu200521358:MIT
… https://github.com/miu200521358/3d-pose-baseline-vmd
深度推定:Iro Laina, miu200521358:Simplified BSD License
… https://github.com/miu200521358/FCRN-DepthPrediction-vmd
3D→VMD変換: errno-mmd, miu200521358:GNU GPLv3
… https://github.com/miu200521358/VMD-3d-pose-baseline-multi
挑戦の記録: mylist/61943776
【MMD自動トレース】プラネタリウムの真実 【ver0.10】
踊り手さんをまねて踊るAIミクさん
この動画のモーションは、自動トレースで作成しました。
楽曲本家様:sm33734600
振付本家様:sm34362277
---------------
【使用ツール名】
モーショントレース自動化キットmiu様 (sm34472759)
※自動化キットver0.10のオープンソースをup主が一部改変し、モーションを作成しています。
表情や手首や指は自動トレースしません。また誤認識でよく体の向きが逆になります。
【使用技術・ライセンス】
Openpose:CMU:非商用であれば無料利用可能(商用利用はライセンス要購入)。スポーツ分野利用制限あり。
… https://github.com/CMU-Perceptual-Computing-Lab/openpose
Openpose→3D変換:una-dinosauria, ArashHosseini, miu200521358:MIT
… https://github.com/miu200521358/3d-pose-baseline-vmd
深度推定:Iro Laina, miu200521358:Simplified BSD License
… https://github.com/miu200521358/FCRN-DepthPrediction-vmd
3D→VMD変換: errno-mmd, miu200521358:GNU GPLv3
… https://github.com/miu200521358/VMD-3d-pose-baseline-multi
【画像生成AI】AI はじめました3 / Beautiful Realistic Asians V6【CHECKPOINT TRAINED】
個人的に好きなモデルBraV6です。
ある程度決まった顔ではなく種類が豊富で個性的な顔も作れるので良いですね
Beautiful Realistic Asians
(バージョン違いもDlできます)
https://civitai.com/models/25494/brabeautiful-realistic-asians-v2
モデルはアニメ系もあるんですがまずは実写系で経験値を溜めています
MMDは動画ばかりで静画をほぼ作らないので画像生成AIがその静画担当をすることになりました。
一応マイPCで生成してます
それとMMDはAI生成に慣れたら開始する予定です
【拡張機能】違う顔を生成する『CloneCleaner』https://youtu.be/XJ8-XDEltD8
コントロールネットを導入して使ってみよう https://youtu.be/0xVlRBJrPKY
同じ顔”や”同じキャラクター”をキープできる『Reference Only』https://youtu.be/qvTtoBuOvzo
【高速化】生成時間を短縮する『xformers』https://freeblog-video.com/stable-diffusion_speedup/
高解像度にアップスケール!『Tiled diffusion』https://youtu.be/DbwQGXsoU_c
ワイルドカードでランダムキャラ作成『Dynamic prompts』https://youtu.be/eAcCOFNDwMw
https://minorgame.syowp.com/archives/dynamic-prompts.html
ポーズを指定『canny』『openpose』https://youtu.be/VFNoy0BDNhc
ノイズ法で書き込みを増やそう https://youtu.be/TOq7tZgKFbQ
画像生成AI動画はあくまで個人的趣味でありオマケでしか投稿しません
人工知能でクソダサムーヴを踊らせる
openpose参考→https://qiita.com/miu200521358/items/d826e9d70853728abc51
https://commons.nicovideo.jp/material/nc181165
https://3d.nicovideo.jp/works/td38103
BEMYBABY with OpenPose
アッフゥフン!
OpenPoseによる単眼カメラからの複数人同時ボーン検出デモ。ディープラーニングの成果らしい。
写真や動画から顔や関節の位置を取得できるからクソコラ作成への活用が期待される。
新宝島【OpenPose研究】
初投稿です。
OpenPoseの研究をしていて、一般人でも凄さが分かる動画を作ろうと思い立ち、
生まれた動画がこちら。お収めください。
サカナクションより「新宝島」の親の顔ステップ周辺です。淫夢要素はありません。
OpenPoseとは?
画像処理ライブラリOpenCVを使ったオープンソースソフトウェアで、
動画や画像から人間を検出、その動作をデータ化するという画期的なソフトである。
現在進行系で開発が進んでいるが、動画からはZ軸の動きが取れない、実行速度が遅い、
OpenCV由来の誤検出など問題も多々ある。
OpenPoseを一緒に研究してくれる技術屋兄貴の登場をお待ちしております。
青い鳥:@GONBEEE_project
くねくねずんだもん先輩BB(AIで既存BBのキャラすげ替え実験の産物)
やりたかったこと AIで既存BBのキャラすげ替え(成功度40パーセントくらい)
やったこと comfyuiでくねくね先輩の深度情報とopenposeを持ってきてその情報をコントロールネットで引っ張りAnimateDiffを使いv2vしてそれをアップスケールする→それでも画質がガビガビになるので(おま環かも)webuiに戻ってtileなどでi2iして整える→拡張のrembgで大まかに背景削除をする→それでも残った部分は手作業でちまちまやる
総括 見た目のマシさに気を取られて背景削除したあとアニメーションしたら思ったよりガバガバだった かといってi2iする前は画質悪すぎるし兼ね合いがむずかしい また今度は別のキャラで(ずんだもんは緑なのでGBLORAが使えないし)
【ジョジョ】どうしてもスタンドを出したかった【Python】
こんにちは 某猫(icc)です。
動画の通りスタンドが出したくて作ってみました。
参考
骨格検出
https://ledge.ai/openpose/
機械学習
https://paiza.jp/works/ai_ml/primer/m1-challenge1
youtube:https://www.youtube.com/watch?v=SuFs3hz-SXA
OpenPose アイドルマスター OFA 99 Nights (四条高音, 我那覇響, 如月千早, 菊地真, 三浦あずさ) ロングカメラ
2014年 OFAの99Nightsのダンサンブルが良かったので、OponPoseで変換してみました。
認識はだいぶおちますね・・・。
改めて思うに、OpenPoseは人体用なのに3Dキャラを認識できるのに驚きですね。
今までは、人間 → キャラだったけど、キャラ → キャラも可能になったのは面白いと感じます。
OpenPoseからMMDへの変換してる兄貴もいるようなので、モーションのマニュアルインプットの工数改善になりそう。
あと、4K画質&60FPSに出来るようにTecoGANも試してみたいところ。
試してみたい方は、福山大の金子邦彦研究室のインストール手順を参照ください。
https://www.kkaneko.jp/db/pose/tryopenpose.html
MMDmatic自動モーショントレース。
配布のモーションは、「MMDモーショントレース自動化キット」を元に作成したものです。
ニコニコ動画への投稿の場合、コンテンツツリーの登録をお願い致します。
登録先:MMD自動トレースマイリスト(https://www.nicovideo.jp/mylist/61943776) の「親動画はこちらへ」とコメントのある動画
キット作者連絡先:
Twitter:https://twitter.com/miu200521358
メール:[email protected]
■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■
■■MMDモーショントレース自動化キット ■■
【Openpose】:CMU:
… https://github.com/CMU-Perceptual-Computing-Lab/openpose
【Openpose起動バッチ】:miu200521358:GNU GPLv3
… https://github.com/miu200521358/openpose-simple
【深度推定】:Google, miu200521358
… https://github.com/miu200521358/mannequinchallenge-vmd
【Openpose→3D変換】:una-dinosauria, ArashHosseini, miu200521358, kenkra:MIT
… https://github.com/miu200521358/3d-pose-baseline-vmd
【3D→VMD変換】: errno-mmd, miu200521358, kenkra:GNU GPLv3
… https://github.com/miu200521358/VMD-3d-pose-baseline-multi
【バルクバッチ】:miu200521358:GNU GPLv3
… https://github.com/miu200521358/motion_trace_bulk
【colab】:miu200521358, Google:https://colab.research.google.com/
… https://github.com/miu200521358/motion_trace_colab
■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■
AIでダンス映像の動きをキャラタへ変換(3)(OpenPose&MMD)
AI
MMD自動トレース使ってみた!(その3:ダンス編)
MMD自動トレース作者:miu200521358 様
トレース用素材動画:owoかや 様
トレース用素材音楽:ハッピーシンセサイザ 様
MMDモデル: Mirai_Akari_v1.0 様、洋館書庫-白ステージ 様
結果
・最後部分でトレース反転失敗
トレースのパラメータ設定をすれば多分大丈夫だと思いますが、暇がなく断念
miu様のcolab版MMD自動トレースは、便利ですごいです。
高度なAI技術でOpenPoseを利用されていて勉強になります。
avi形式の動画ファイルから、MMD用のモーションを自動生成します。
上下左右の動きだけでなく、奥行き方向の精度も高い、優れものです。
MMDモーショントレース自動化キットライセンス
https://ch.nicovideo.jp/miu200521358/blomaga/ar1686913
ガンマン:バレエのターン (OpenPose)
ガンマンのバレエのターンです。
子供の発表会を OpenPose でキャプチャして、ガンマンのモーションとしました。
元動画をワイプに表示しました。
AIでダンス映像の動きをキャラタへ変換(4)(OpenPose&MMD)
MMD自動トレース使ってみました(その4:ダンス編)
MMD自動トレース作者:miu200521358 様
トレース用素材動画:owoかや 様
トレース用素材音楽:こいだん 様
MMDモデル: Mirai_Akari_v1.0 様、洋館書庫-白ステージ 様
結果
・後半の手の細かい動きは、トレースできず
→これはOpenPoseの限界というか、トレースは手首までで手先は対象外ですかね
・後半の上半身アップシーンでトレースできず
→これもOpenPoseの限界というか、姿勢推定AIでは対象外ですかね
・映像の背景が変わっても、人物の画角・大きさが変わらなければ対応できてありがたいです
miu様のcolab版MMD自動トレースは、便利ですごいです。
高度なAI技術でOpenPoseを利用されていて勉強になります。
avi形式の動画ファイルから、MMD用のモーションを自動生成します。
上下左右の動きだけでなく、奥行き方向の精度も高い、優れものです。
MMDモーショントレース自動化キットライセンス
https://ch.nicovideo.jp/miu200521358/blomaga/ar1686913
AIでダンス映像の動きをキャラタへ変換(2)(OpenPose&MMD)
MMD自動トレース使ってみました(その2:ダンス編)
MMD自動トレース作者:miu200521358 様
トレース用素材動画:やこまぺんた 様
トレース用素材音楽:恋愛裁判 様
モデル作者: ねぐも、ながなみ、SisterPrincess可憐様
複数人数なのでトレースのパラメータ設定が必要
・最初の反転指定は実施済みで、人物反転開始映像には対応できました
・順番指定を実施していないので、メンバー交差の時、追跡がうまくいってないです
miu様のcolab版MMD自動トレースは、便利ですごいです。
高度なAI技術でOpenPoseを利用されていて勉強になります。
avi形式の動画ファイルから、MMD用のモーションを自動生成します。
上下左右の動きだけでなく、奥行き方向の精度も高い、優れものです。
MMDモーショントレース自動化キットライセンス
https://ch.nicovideo.jp/miu200521358/blomaga/ar1686913
AIで体操床演技の映像の動きをキャラタへ変換(OpenPose&MMD)
MMD自動トレース使ってみました(その1:床体操編)
MMD自動トレース作者:miu200521358 様
トレース用素材動画:畠田千愛 様
モデル作者: Mirai_Akari_v1.0様
miu様のcolab版MMD自動トレースは、便利ですごいです。
高度なAI技術でOpenPoseを利用されていて勉強になります。
〇課題
足が地面に引っ張られて回転しないです(´;ω;`)ウッ…
全てに初心者なので、
MMDの設定なのかな?
AI技術OpenPoseなどの特性なのかな?
とか検討違いのこと書いてたらすみませんm(__)m
MMDモーショントレース自動化キットライセンス
https://ch.nicovideo.jp/miu200521358/blomaga/ar1686913
AIでダンス映像の動きをキャラタへ変換(1)(OpenPose&MMD)
MMD自動トレース使ってみました(その1:ダンス編)
MMD自動トレース作者:miu200521358 様
トレース用素材動画:七河みこ 様
トレース用素材音楽:みきなつみ様(3月18日(水)リリースの3rdデジタルシングル「君にだけバレて欲しいな」)
モデル作者: Moskva様式藤崎由愛 ver3.0様
miu様のcolab版MMD自動トレースは、便利ですごいです。
高度なAI技術でOpenPoseを利用されていて勉強になります。
avi形式の動画ファイルから、MMD用のモーションを自動生成します。
上下左右の動きだけでなく、奥行き方向の精度も高い、優れものです。
MMDモーショントレース自動化キットライセンス
https://ch.nicovideo.jp/miu200521358/blomaga/ar1686913
【MMD】ガンマン:バレエのターン
バレエのターンをするガンマンです。
OpenPoseでモーションをキャプチャ―しています。
