自由研究 / feat.知声 (Chis-A) 知声さんぽ MV ver.

前の曲 https://www.nicovideo.jp/watch/sm46402523 で使わせて頂いたTextAlive( https://textalive.jp/ )が素晴らしかったので、Claudeに相談してエディタを作れないか色々と試していたらEssentia ( https://essentia.upf.edu/ ) や kuromoji( https://www.atilika.com/ja/kuromoji/ ) や TorchAudio ( https://docs.pytorch.org/audio/stable/index.html )を利用した解析で歌詞の自動配置が出来るようになったので、今色んなリリックビデオの表示パターンを作ってみてます。その中でthree.js ( https://threejs.org/ )でMMDが読めることを知ったので、DotArrayでいつも使っている歌声合成のドットキャラを作って、歌詞を解析したデータを使ってリップシンクさせて歌ってるようなMVを作ってみました。UnityではuLipSync ( https://github.com/hecomi/uLipSync ) でリップシンクさせてましたけど、kuromojiで形態素解析をさせてるので、そのよみがなからaiueoの母音を判別して口の形を合成させる方法で実装してもらってます。made withTextAlive https://textalive.jp/DotArray http://inufuto.web.fc2.com/dotarray/index.html とある工房様のPMXエディタ https://kkhk22.seesaa.net/category/14045227-1.html ばっつ様のドット絵風　初音ミク　亞北ネル　重音テト https://bowlroll.net/file/17386susuki 様のVMD【MikuMikuDance】 歩いたり走ったりスキップしたり ver3.0 http://www.nicovideo.jp/watch/sm21263509 "Low Poly City Game-Ready" ( https://skfb.ly/pC6xJ ) by costoWRLD is licensed under Creative Commons Attribution ( http://creativecommons.org/licenses/by/4.0/ ).

http://www.nicovideo.jp/watch/sm46539878