見出し画像

Runway Gen-3 ライブコンサート風景のショート動画をAI生成｜DAZ Studio 2025

吉良浩明（きらやん）

生成AIはシンプルに使えなければ意味が無いのですが、一方で、クリエーティブな仕事には不自由さが伴います。今回は、「AI Face Swap」を併用し、Runwayで生成する動画の主人公に個性を入れ込む方法を紹介します。

AI Face Swapで使用した顔画像は、以下の記事で紹介している作例です。

元の顔写真は、Pinterestからダウンロードした実在人物の写真ですが、それをDAZ Studioに読み込んで架空の3Dモデル化しています。

Pinterestなどから実在人物の顔写真をダウンロードして、そのまま画像生成AIに読み込んで使っていると、生成AIがあなたの所業を学習してLLMに取り込むかもしれないので、将来的に不都合な事態を招くかも？・・・💦


作業の流れ

今回は、試行錯誤の結果を元に、自分なりに「これなら動画生成AIが使い物になるかも」と思える作業手順をシンプル化してみたので紹介します。

  1. AI Face Swapで使う、好みの置き換え元画像を用意する

  2. ImageFXでライブコンサート風景の画像を生成する
    （プロンプトは、Google翻訳を使ってシンプルに作成）

  3. PixlrのAI Face Swapで、2.の主人公の顔を 1.の画像で置き換える
    （必要なら、ここで 3.の画像を画像編集ツールでポストワーク）

  4. Google AI Studioで、Runwayで使うプロンプトを生成する
    （Alpha用とTurbo用をそれぞれ別々に生成）

  5. Runway Gen-3でAlphaとTurboを使ったショート動画を生成
    （必要なら、ここで 5.の動画を動画編集ツールでポストワーク）

  6. X.comに投稿し、記事内に作例として埋め込み

これを見るとかなり複雑そうに見えますが、これと同等の作業を3DCGで行うには以下のようなプロセスを必要とするので、個人的にはかなりシンプル化できたと感じていますが・・・💦

Pinterest > Pixlr Editor & Express > DAZ Studio > Face Transfer 2 > Face Transfer Shape 2 > dForce Simulation > DAZ Importer > Blender > Mixamo > Sketchfab

★ 画像生成AIや動画生成AIで生成する人物や風景は、どこかiPhoneのカメラ（コンピュテーション・フォトグラフィー）で撮影した個性を感じられない写真と同じイメージがあるので、AI Face Swapで個性を吹き込みます。

Runwayに読み込む元画像の作成

AI Face Swapで置き換える顔画像を用意

今回は、以下の作例を用います。

Mizkey FTS2 Up in Hakodate

ImageFX用のプロンプトを生成

今回は、Google翻訳を使って、日本語から英語に翻訳し、プロンプト窓にコピー&ペーストしました。

A Japanese woman with a sky-blue onepeace accordion preated dress sings on a live stage, and many Japanese audience is clapping in the background. 35mm film .

★ 最後の「35mm film」は、エクスプレッシブチップスですが、プロンプト窓の下に表示される候補の中から選択。リアルな写真風にするためのダミーですが・・・💦

ImageFXでライブコンサート画像を生成

ImageFXでプロンプトを入力しライブコンサート風景を生成

今回は、左下の画像を選択。

★ 横顔は、なぜかAI Face Swapがうまくいきませんでしたが・・・💦

PixlrでAI Face Swapを実行

以下に行きます。

Pixlr AI Face Swap-1
Pixlr AI Face Swap-2

元画像とライブコンサート画像を読み込み、「Run Face Swap」をクリック。

Face Swap後

ダウンロードすると、以下のような結果が得られました。

face-swap-Mizkey-Hakodate.png（記事にアップロードするとWebPに自動圧縮）

ちなみに、Face Swap前の画像は以下ですが・・・

AI Face Swap 前

★ あまり代わり映えはしませんが、唯一このプロセスの中で個性を出せるところなので・・・💦

★ ここで、必要なら画像編集します。私の場合は慣れているPixlrの各種ツールを使い分けていますが、以下の「Clipdrop」の方が便利かも？

Runway Gen-3で動画生成

Google AI Studioでプロンプトを生成

今回は、Google AI Studioで生成します。

★ デフォールトの設定から、右サイドの設定を変更します。
1. ModelをGemini 2.0 Pro…に変更
2. Grounding with Google Searchをオン

Gemini 2.0 Pro & Google Search

以下の日本語をチャットに質問しました。

Runway Gen-3 AlphaのImage to Videoに使うプロンプトを作成してください。シーンのスタイルは「日本人女性がコンサートのステージ上で歌っている風景。彼女は聴衆に手を振って歓声に応えている。バックには多くの日本人の聴衆が拍手を送っている」です。文字数は空白も含め500文字以下です。

生成されたプロンプトは以下です。

・プロンプト例1：詳細な情景描写
A Japanese female singer is performing on a concert stage, bathed in bright stage lights. She waves to the cheering audience, her expression full of joy and excitement. The crowd, consisting of many Japanese people, is enthusiastically clapping and waving back. The stage is large, with a dynamic light display in the background. Camera angle: Medium shot, slightly from below, capturing the energy of the performance and the connection between the singer and the audience.
Use code with caution.

・プロンプト例2：キーワードを強調
Concert stage, Japanese female singer, enthusiastic crowd, Japan, waving, clapping, stage lights, dynamic lighting, live performance, joyful, energetic, medium shot, low angle.
Use code with caution.

・プロンプト例3：感情と雰囲気を重視
An uplifting and energetic concert scene. A Japanese woman sings on stage, her voice resonating with emotion. She connects with her Japanese audience, waving her hand and receiving a wave of applause and cheers in return. The atmosphere is electric, with vibrant lights and a palpable sense of excitement.
Use code with caution.

・プロンプト例4：カメラワークを指定
Slow zoom in on a Japanese female singer performing on a brightly lit concert stage. She is interacting with a large, enthusiastic Japanese audience, waving and smiling. The crowd responds with cheers and applause. The camera focuses on the singer's expressive face and gestures, capturing the emotion of the moment.
Use code with caution.

Google AI StudioでRunway Gen-3 Alphaのプロンプトを生成

Runway Gen-3 Alphaで動画生成

ライブコンサートの画像を読み込み、プロンプトを貼り付けて「Generate」をクリック。（以下は、「プロンプト例4：カメラワークを指定」のケース）

Runway Gen-3 Alpha 5秒

下の作例の動画が生成されました。今回は5秒版です。

同様に、Turboの場合は以下です。（プロンプトは同じ）

Runway Gen-3 Alpha Turbo 5秒

★ Alphaは、プロンプトに忠実な人物の大きな動きが期待できますが、人物の一貫性がない弱点があります（スカートの裾の柄が異なるなど）。

★ Turboは、動きが小さくスローモーションになりやすいのでカメラワークを使いたいですが、人物の一貫性が保たれるのが期待できます。

作例（X.com）

Alpha（カメラワークを意識したプロンプト）

Turbo（カメラワークを意識したプロンプト）

★ Turboはカメラワークのプロンプトもあまり効果が無さそうなので、今後はTurboのカメラモーション機能を試そうかと・・・💦

まとめ

動画生成AI「Runway Gen-3 Alpha & Turbo」を使ったショート動画の生成を、比較的シンプルなプロセスで完結させる方法を紹介しています。

まだ試行錯誤の段階ですが、DAZシーンをレンダリングして制作したデジタル美少女作品や、Sketchfabにアップロードした作品の活用方法を模索し、有料記事の有料エリアで非公開画像や360°VRの方向性を検討したいと思います。

参考リンク


いいなと思ったら応援しよう！