AIでオーケストラ作ってみた【ニコニコ技術部】

AIでオーケストラ作ってみた【ニコニコ技術部】

去年辺りから作っているAIによる楽器音合成がある程度上手く行ったので、進捗を共有します。今との所オーボエ、ヴァイオイン、チェロに対応しており、ヴァイオリンは通常奏法の他、ピツィカート、トレモロ、ディスコフォールに対応、チェロはピツィカートにも対応しています。11月中にはオープンβテストユーザーを募りたいと思います。12月末~来年頭くらいには、ボーカルにも対応予定なので、世の中のボカロが1つ増えます。動画は33回書き出して擬似的にオーボエコンチェルト風の曲を作ったものです。最新の情報はTwitterで公開しています。 https://twitter.com/Nakazako 技術解説:MusicXMLを解釈して、拡散モデルとGANで音声波形を生成しています。UIは作るのが大変なので、当面の間はピッチ情報をMIDIで書き出し、それを修正したものを再度合成、という感じにしようかなと思っています。

http://www.nicovideo.jp/watch/sm43038978