【作成中】生成AI活用 短編映像を作成する（プロット：テキスト生成AI、絵コンテ：画像生成AI、動画：動画生成AI）
AI活用、お試し中。今回はコレ。
生成AI（テキスト、画像、動画）を組み合わせて、
短時間で短い動画を作成する
制作フローのサマリ
3つのAIツールを組み合わせて、短い動画を作成する。
テキスト生成AI：ChatGPT
画像生成AI：stable diffusion
動画生成AI：Pika Labs/Runway Gen2
簡単な流れは下記。
テキスト生成AIで台本を作成する
動画の台本をテキスト生成AIで生成する。
（今回はChat GPTを使用）画像生成AIで画像を生成
台本にあうシーンの画像を、画像生成AIで生成する。
（今回はstable diffusionを使用）動画生成AIで動画生成
画像を元に動画を生成する。
（今回はPika Labsを使用）動画編集
シーンごとに生成された動画を動画編集してつなげる。
（今回はfilmoraを使用）
1.テキスト生成AIで台本を作成
まずはChatGPTを使い、短編映像の台本を作成する。
プロンプトは以下の通り。
プロンプトの末尾の『テーマは「」です』で、「」の中に作りたい映像のテーマを入れて、プロンプトを入力する。
これから30秒程度の映画を作りたいです。
画像生成AI「stablediffusion」と動画生成AI「Pika labs」を使います。
仕組みは1枚の動画をstablediffusionで生成して、それをPika labsで3秒の動画にします。
その過程を10回繰り返して、1つの映像にします。
そこでその画像を生成するプロンプトを英語で10個考えて欲しいです。
それぞれのシーンがつながるようなプロンプトでお願いします。
テーマは「」です。テーマを変えることで、さまざまなストーリーを生成してくれる。
気になるストーリーになるまでトライ。
2.画像生成AIで画像を生成
ChatGPTで作成した流れをstablediffusionで画像に変換していく。
ChatGPTで生成したシーンを描画した英文をコピペして、stablediffusionのプロンプトに入力する。
3.動画生成AIで動画生成
次はstablediffusionで作成した画像をPika Labsで動画に変換していく。
Pika Labs
Runway Gen2
https://research.runwayml.com/gen2
Pika Labsの概要
Pika Labsは、テキストや画像から優れたクオリティの動画を短時間で生成するツール。
Runway Gen2と同じくAIを活用して動画を即時に生成することができる。
Pika Labsが優れているのは、画像を元にした動画生成の精度。
Runway Gen2に比べて、より自然で違和感の少ない動画が作れるとの評価もあるらしい。
2023年12月ではベータテスト中の無料版が提供されていて、商業目的でも使用可能。
生成される動画にはウォーターマークが含まれるので、気になる方はRunwayを使用のこと。
Pika Labsの始め方
まずこちらのURLをクリックし、アカウントを作成する
Pika Labsの使い方
以下のような画面で動画を生成する。
ログインする
ページ下部にある「Image or video」から写真をアップロードする。
プロンプト欄に、動画の内容を説明するプロンプトを入力する。
動画生成ボタンを押下する。
しばし待つ。
生成した動画はRetry(再度生成)/Reprompt(再度プロンプトを記載)/Edit(画像のサイズなどの変更)/Add 4s(4秒さらに追加する)/Upscales(拡大する)など詳細な編集も可能。
Pika Labsのコツ
Pika Labsを使う際に知っておくと便利なコツ
・プロンプトにこだわる
画像の質はもちろんのこと、入力するプロンプトで生成される動画のクオリティも変わる。
DeepLなどの無料の翻訳ツールを使い自分の理想にあったプロンプトを探求
・画像から動画生成の方がクオリティが高くなる
4.全ての動画をつなげる
Pika Labsで動画を生成し終わったら、動画編集ツールを使用し1つにつなげる。
作例
制作フローの実イメージは、下記をどうぞ。
1.テキスト生成AIChatGPTで台本を作成
テーマは、何にしよう。
最近、バイクの相棒を得たので、「バイクツーリング」で。
これから30秒程度の映画を作りたいです。
画像生成AI「stablediffusion」と動画生成AI「Pika labs」を使います。
仕組みは1枚の動画をstablediffusionで生成して、それをPika labsで3秒の動画にします。
その過程を10回繰り返して、1つの映像にします。
そこでその画像を生成するプロンプトを英語で10個考えて欲しいです。
それぞれのシーンがつながるようなプロンプトでお願いします。
テーマは「バイクツーリング」です。Scene 1: Setting the Journey Prompt: Generate an image of a scenic mountain road with a motorcycle parked at the beginning of a journey, capturing the essence of anticipation.
Scene 2: Igniting the Adventure Prompt: Transform the static image into a dynamic scene, as the motorcycle roars to life with the rider gearing up for an exhilarating ride.
Scene 3: Rolling Through the Countryside Prompt: Transition the scene to a picturesque countryside landscape as the motorcycle cruises through winding roads, blending seamlessly with the natural beauty.
Scene 4: Sunset Horizon Prompt: Use stablediffusion to create a mesmerizing sunset scene as the motorcycle travels towards the horizon, capturing the essence of the day turning into night.
Scene 5: Nighttime Cruise Prompt: Transform the dusk scene into a night ride, illuminating the motorcycle with the soft glow of headlights as it continues its journey under the moonlit sky.
Scene 6: Urban Exploration Prompt: Shift the setting to an urban environment, with the motorcycle navigating through city lights and skyscrapers, showcasing the contrast between nature and cityscape.
Scene 7: Coastal Retreat Prompt: Transition to a coastal road, with the motorcycle cruising alongside the ocean, capturing the calming sound of waves and the sense of freedom on the open road.
Scene 8: Sunrise on the Horizon Prompt: Use stablediffusion to create a breathtaking sunrise as the motorcycle continues its journey, symbolizing the start of a new day filled with adventure.
Scene 9: Mountain Pass Challenge Prompt: Introduce a challenging mountain pass, with the motorcycle navigating sharp turns and elevation changes, highlighting the thrill of the ride and the rider's skill.
Scene 10: Journey's End Prompt: Conclude the sequence with an image of the motorcycle parked at a serene location, symbolizing the completion of the epic bike tour, and creating a sense of fulfillment and accomplishment.
日本語の方が得意なので、日本語も聞いておく。
上記を日本語でも教えて。シーン1: 旅のスタート プロンプト: シーンをキャプチャし、期待感を表現するために、モーターサイクルが旅の始まりで駐車された美しい山道の画像を生成してください。
シーン2:冒険の幕開け プロンプト: 静的なイメージをダイナミックなシーンに変え、モーターサイクルが轟音を立ててライダーがスリリングなライドに備える瞬間を捉えてください。
シーン3:田園地帯を走る プロンプト: 画面を美しい田園風景に変え、モーターサイクルが曲がりくねる道を進む様子を自然の美しさとシームレスに融合させてください。
シーン4: 夕焼けの地平線 プロンプト: stablediffusionを使用して、モーターサイクルが夕陽に向かって進む様子を捉え、昼から夜への移り変わりを表現してください。
シーン5: 夜のクルーズ プロンプト: 薄暗いシーンを夜のライドに変え、ヘッドライトの柔らかい光でモーターサイクルが照らされながら、月明かりの下で旅を続ける様子を表現してください。
シーン6: 都市の探索 プロンプト: シーンを都市の環境に切り替え、モーターサイクルが街の灯りと摩天楼を抜けていく様子を捉え、自然と都会の対比を示してください。
シーン7: Coastal Retreat 海岸のリトリート プロンプト: 海岸の道に変わり、モーターサイクルが海岸沿いを走り、波の音と開けた道路での自由な感覚を表現してください。
シーン8: 地平線の日の出 プロンプト: stablediffusionを使用して、モーターサイクルが旅を続ける中で美しい日の出を捉え、新しい冒険が始まることを象徴してください。
シーン9: 山岳道路の挑戦 プロンプト: モーターサイクルが急なカーブや高低差を乗り越える難しい山岳道路に移行し、ライドのスリルとライダーのスキルを強調してください。
シーン10: 旅の終わり プロンプト: シーケンスを締めくくり、モーターサイクルが静かな場所に駐車された光景を生成し、エピックなバイクツアーの完了と充実感を表現してください。
2.stablediffusionで画像を生成
シーン1: Setting the Journey 旅のスタート
プロンプト：
Generate an image of a scenic mountain road with a motorcycle parked at the beginning of a journey, capturing the essence of anticipation.
シーン2: Igniting the Adventure 冒険の幕開け
Prompt: Transform the static image into a dynamic scene, as the motorcycle roars to life with the rider gearing up for an exhilarating ride.
シーン3: Rolling Through the Countryside 田園地帯を走る
Prompt: Transition the scene to a picturesque countryside landscape as the motorcycle cruises through winding roads, blending seamlessly with the natural beauty.
シーン4: Sunset Horizon 夕焼けの地平線
Prompt: Use stablediffusion to create a mesmerizing sunset scene as the motorcycle travels towards the horizon, capturing the essence of the day turning into night.
シーン5: Nighttime Cruise 夜のクルーズ
Prompt: Transform the dusk scene into a night ride, illuminating the motorcycle with the soft glow of headlights as it continues its journey under the moonlit sky.
シーン6: Urban Exploration 都市の探索
Prompt: Shift the setting to an urban environment, with the motorcycle navigating through city lights and skyscrapers, showcasing the contrast between nature and cityscape.
シーン7: Coastal Retreat 海岸のリトリート
Prompt: Transition to a coastal road, with the motorcycle cruising alongside the ocean, capturing the calming sound of waves and the sense of freedom on the open road.
シーン8: Sunrise on the Horizon 地平線の日の出
Prompt: Use stablediffusion to create a breathtaking sunrise as the motorcycle continues its journey, symbolizing the start of a new day filled with adventure.
シーン9: Mountain Pass Challenge 山岳道路の挑戦
Prompt: Introduce a challenging mountain pass, with the motorcycle navigating sharp turns and elevation changes, highlighting the thrill of the ride and the rider's skill.
シーン10: Journey's End 旅の終わり
Prompt: Conclude the sequence with an image of the motorcycle parked at a serene location, symbolizing the completion of the epic bike tour, and creating a sense of fulfillment and accomplishment.
まだ完成してませんが、体力と時間の制約にて、今日はココまで。
最後まで読んで頂き、感謝です（ぺこり）
こちらもよければぜひです。