【Midjourney V6 × Runway】自分の顔を合成した高クオリティ動画作成

こんにちは！株式会社ニジボックス UX・ディレクション室 室長の吉川です。2024年もよろしくお願いします！

今回はMidjourney V6とRunwayを使って、自分の顔を合成したオリジナル動画の作成に挑戦したので紹介します！（noteにアップできるサイズのGIFにしたので画質が荒いですが。。）

MidjourneyもV6になって画像のクオリティが大幅に上がり、RunwayもGen-2が出てimageから高クオリティの画像が生成できるようになりました。
さらに、そこに顔合成をすることにより、例えば「一貫したキャラクターで高クオリティの映画風の動画を作る」ようなことが可能になる気がしたのが挑戦したきっかけです。

それでは作成手順をご覧ください！

1.Midjourney V6による画像生成と顔合成

まずはMidjourneyでスーパーヒーロー風の画像を作りました。やはりV6になってクオリティが格段に上がっています。

ここに自分の顔を合成します。

まずはMidjourneyにInsightFaceという機能を追加します。（このBotを追加すればOK）

あとは画像を生成する容量で「/」の後に「saveid」と打つと、画像の顔を記憶してくれるので、上記の自分の顔をアップします。（これだけで顔の記憶完了）

そのあとMidjouneyで作った上記のスーパーヒーロー風画像をアップして右クリック。(画像出力したものは直接できなさそうなので、一度ダウンロードして画像アップする必要がありそう。)
「アプリ」ボタンから「INSWapper」を選ぶと、記憶された顔に変換されます。それがこれ！

すごいですよね。これを使えばどんな画像も自分の顔にできるだけでなく、例えばMidjourneyで出力したキャラクターを記憶させ、出力した画像をそのキャラクターの顔に変換することで一貫したキャラクターでの画像生成ができたりもします。

2.Runwayで動画生成

次にRunwayでの動画生成です。
以下のGen2「Text/Image to Video」を選びます

そして、「IMAGE」が選択された状態で上記で作った画像をアップし、「Generate 4s」を押すと動画が生成されます。

注意が必要なのが出力結果は押す度に変わるので、思うような動画ができなくても何回か試してみるといい感じの動画ができたりします。（根気が必要。。！）
また「IMAGE + DESCRIPTION」で画像と文字からも作れるのですが結構元画像が崩れるので「IMAGE」だけで出力するのがおすすめです。

それで出来たのが冒頭のこの動画！（もちろん元動画はもっときれいです。）

同じような方法でパンチシーンの動画も作ってみました！

3.最後に

いかがでしたか？これで組み合わせていけば冒頭で話したような「一貫したキャラクターで高クオリティの映画風の動画を作る」みたいなこともできそうですよね。

画像生成、動画生成の技術はどんどん上がっていっています。
そして、それらのいいところを組み合わせることで、さらに良いものを作れるようになると思います。
最新トレンドを追って、それをどう組み合わせると面白くなるか、日々考えていきたいと思います。

最後までご覧いただきありがとうございました！それではまた次回！