【AIアニメ】ComfyUIとSunoでシンプルなアニメMVをつくる
最近、音楽生成AIサービスのレベルが大きく上がっているようです。半年ほど前に話題になった「Suno」と後発の「Udio」が機能を競い合っていて、生成の質も使い勝手も大幅に改善しています。
今回Sunoのv3.5で遊んだので、例によってComfyUIで生成した動画素材と楽曲を合わせてMV風のシンプルなアニメにしてみました。
この記事はその作業メモです。
Suno(v3.5)で楽曲を生成する
以前は1曲まるごとの生成はできず、楽曲の延長機能も使いこなすのがやや難しい？印象でした。ところが、先日のSunoのv3.5アップデートで最長4分まで一発生成できるようになったそうです。
早速Sunoのv3.5で何曲か作ってみました。AI生成した歌詞を軽く修正して、適当なプロンプト（ここでは「mellow cute chiptune, husky female vocals」）を指定して出力します。
初期のSunoと比べると日本語ボーカルの処理も格段に良くなっていて感動します（歌詞はもうちょっと長くすべきでした）。
ComfyUIで動画素材を作る
さて、生成した楽曲にアニメーションを付けたいので、Stable Diffusion用のアプリケーションのComfyUIで動画素材を作成します。
できるだけ単純な作りにすべく、キャラクターを含む前景（電車内で座っている少女）は固定、背景（電車の車窓の景色）のみループアニメーションにしてみます。
まずはキャラクター部分を作成します。ControlNetのScribbleでざっくり構図を指示して元絵を出力しました。違和感のある箇所は簡単に修正。
完全な静止画だと違和感が出るので、AnimateDiffにかけてループ動画化します。画像をInputにしつつ、キャラクター周辺だけマスクして動きを付けました（ついでに目も閉じる）。
何となく電車に揺られている感じが出ました。車窓の風景はスクロールアニメに差し替えるので、次に背景用画像を生成します。
歌詞に合わせて一番夕暮れっぽい画像をチョイス。IPAdapterで同じ色調の画像を複数生成し、Inpaintで隙間を埋めて、横長のスクロール用画像を作成しました。
この横長画像をループスクロールさせて背景動画にします。
あとは、前景動画の窓の部分を抜いて（線画から窓枠を抽出）、背景動画を見えるようにして完成です。
動画と楽曲と合わせる
今回はループアニメに曲を当てるだけなので、特に細かい動画編集はありません。編集ソフトで歌詞テキストを付けて無理やりMV風に。
ということで、冒頭の動画が今回の成果物です。いろいろと反省点があるので、そのうち別の曲を作ってトライしてみたいと思います。