見出し画像

LumaAIで映画制作: 動画から効果音も自動生成する方法

yachimat@AI漫画

Luma Dream Machineの映像は効果音があると、グッとリアルになる

前回までは嘘CMや超ショート映画を作っていました。


今回は新しいチャレンジとして効果音に取り組もうと思います。具体的にはElevenLabsが提供するvideotosoundeffects.comを使いました。

他の部分は同じですが、わかりやすさのために今回の映像向けにどうプロンプトをつくったかも共有していきますね。

完成品: 俺様王子とシンデレラと哀れな従者たち

ステップ1：Midjourneyで写真を作成

まずは、Midjourneyを使って動画の元となる写真を作成します。MidjourneyはAIを利用した画像生成ツールで、簡単に高品質な画像を作ることができます。

https://www.midjourney.com/explore?tab=random

下記が生成したものです。
今回もあまり構想を練らずに雰囲気だけ重視でつくっていきました。
FF15のノクティスが玉座に座ってるのかっこいいよな、とかやっぱり魔法使いいたほうがアクション映えるよななど、考えてはいました。

a young wizard with a sword sitting on a king's throne in an old castle, looks like a scene from Harry Potter. close up Photographed with a Sony mirrorless SLR
a beautiful wizard girl fighting in a old castle, looks like a scene from Harry Potter, there are other wizards too. close up Photographed with a Sony mirrorless SLR
a group of wizards discussing in a old castle, looks like a scene from Harry Potter, close up Photographed with a Sony mirrorless SLR --ar 9:16
a movie scene a wizard girl close up in a medieval town --ar 9:16

ステップ2：Luma Dream Machineで動画生成

次に、Luma Dream Machineを使って、生成した画像を元に動画を作成します。このツールはテキストや画像から簡単にリアルな動画を生成できる強力なAIです。

今回はExpandという長尺にする機能がついたので試してみました。正直ショート映画にはあまり不要ではあります(コントロールが大変)。

なかなか思ったアクションをしてくれないので長くしたところで使い物にはなりづらいです。どれだけ迷走するかは下記をご覧ください。

ただ、これはおそらく共通して使えるのはズームイン。


ステップ3：Udioで音楽を追加

動画に音楽を追加するために、Udioを使用します。UdioはAIを活用した音楽生成ツールで、簡単にバックグラウンドミュージックを作成できます。

UdioのプロンプトはこのUdioガイドラインをGPT-4oに読ませて、こんな感じの曲のプロンプトつくってって言いました。

Following this prompt guide, create a prompt to create a music something like Game of the thrones

プロンプト

歌詞も作ってくれましたが、今回はBGMなのでインストとして生成

作ってくれたUdio用プロンプトはこんな感じでした

Tags: epic orchestral, fantasy soundtrack, male vocalist, female vocalist, choir, strings, drums, flute, violin solo, cinematic, dramatic, powerful, [high energy, fast-paced instrumental, intense and grand]

Udio用プロンプト

今回の曲はポンだしで、動画が長いのでExtendしたものを採用しました。クオリティ本当に高いですね。

ステップ4：videotosoundeffects.comで効果音を追加

今回の目玉です。地味ですが大事。そして超便利。

臨場感を高めるために、videotosoundeffects.comで効果音を追加します。このサイトは動画をアップロードすると、それに合わせて効果音を生成してくれます。

ステップ5 : ElevenLabsでセリフを生成

ElevenLabsは音声を生成してくれます。今回はブリティッシュ英語で統一させたかったのですが、声を選ぶときにそういう検索もできます。

検索窓でBritishとするとフィルタされる
日本語のボイスもある

ちなみに今回生成したものはすべて無料の範囲内です。

ステップ6：Canvaで動画編集

最後に、Canvaを使って動画を編集し、最終的な仕上げを行います。Canvaは簡単に使えるビジュアルデザインツールで、動画編集機能も充実しています。

さて、実際は音声などの前にとりあえず生成した映像をCanvaにいれるところからはじめました。

並べてみて、一体どういうストーリーならできそうか、ここはアナログな頭を働かせました。

最初はこの男性はいいやつ設定にしようと思ったんですが、どうしても悪役が欲しくて、犠牲になってもらいました。

すぐに結婚したい俺様王子

まずは圧倒的に脚本と演出の知識が必要なので、そこは別途ですが、小手先の話をすれば、一つの動画を分割して多用すると一貫性の問題が軽減します。

とくに悪役であり準主役の俺様王子はたくさん動画をつくると一貫性が持てなくなってきます。

こういうときには少し長尺にして、それを分割して何回かに分けて挟むという方法が有用です。

まとめ

LumaだけじゃなくてRunway3もいいんじゃないの？とか色々あると思いますが、ツールはその時々で使えるものを触りながら勉強するしかないですね。

今回は効果音を試しましたが、思ったよりも楽しかったです。

普通効果音というとバラバラの効果音を1個ずつポチポチいれてくイメージだったんですが、この場合はなんか総合的な音というか複数の種類の音が混ざった音が出来て、自然だったんですよね。

音声と言えばやはりセリフですが、ここは凝り始めると危険な気もしつつ、日本語のセリフもチャレンジしてみたいですね。

普段はAI漫画描いてます

いいなと思ったら応援しよう！