Leonardo.AiのImage2Motionでバットマンのショートムービーを作ってみよう

こんにちは、AIイラスト研究室です。

いきなりですがLeonardo.AiのImage2Motion機能を使ってバットマンのショートムービー（といってもまぁ雰囲気を楽しむ程度のもの）を作ってみようと思います。→頑張って作りました！

なぜバットマンにしようと思ったか。

理由はすごく単純である。

バットマンがカッコよくできないなら他は絶対無理と思ったから。

手順はこんな感じ。

１、Bing AIのDALL•E3でバットマンのイラストを描く。

２、Leonardo.Aiにimg2imgで写して、Image2Motionでモーションをつける

３、iMovieで編集してショートムービーにする

バットマンの動画を通して以下の内容を検証してみました。

検証１：img2imgのプロンプトのImage2Motionへの影響

検証２：img2imgのStrengthとImage2Motionの関係

検証３：動きが少ないイラストのImage2MotionのMotion Strengthを上げてみる。

検証４：Motion Strength = 5でそこそこ動くイラストのStrengthを上げるとどうなるか。

さてさて、どんな動画ができたでしょうか。
作製した動画がこちらになります。
まずはご覧ください。

今回、Image2Motionを色々検証しました！
有料記事にて検証内容を公開いたします。

今回のバットマンの動画制作に約1500トークンほど使用しましたので、コツさえ掴めれば無料の場合だと10日ほど制作に必要となります。

もどかしさと根気との戦いですね。

ただ、時間をかければどんどん良くなると思いますので、Leonardo.AiのImage2Motionで動画制作を皆様もぜひトライしてみましょう。

いざ、検証スタート。

検証１：img2imgのプロンプトのImage2Motionへの影響
まずimg2imgの際のstrengthを0.75あたりにしておくと、大体元絵通りに描いてくれるので、プロンプトは自由にいじれるメリットがある。これでImage2Motionのプロンプトの影響を確認する狙いがある。

最初はもっともシンプルなプロンプトでimg2imgしてみる。
batman the dark knight

これを動画にしてみる。
動画１

むむむ、バットマンと背景が同化してビヨーンて伸びて、そして戻ってくるという、ダサダサモーションになってしまった。
ただ、特に雨とか入力してないけど、雨が降って稲光が反映されている点は高ポイント。

次にプロンプトを変更。雨を強調できるか検討。
heavy rain, bad weather, batman the dark knight

動画２

これは…いや動画が何も動かなくなった。むしろ雨さえもよくわからない感じ。ダメっぽい。

では次に背景をプロンプトにしてみる。
landscaping, backdrop, night city, batman the dark knight, rain, bad weather,

動画３

これまた動画２と同じ。もう全く動かない。

例えば横スクロールってプロンプトに入れたら背景がスクロールしたりしないだろうか？
batman the dark knight, horizontal scrolling, night city, dynamic angle

動画４

雨は降ってるけど、横スクロールはしない。

それで、一番動いたのが動画１のbatman the dark knightだったので、これがImage2Motionのシード値によるものなのか、プロンプトによる影響が強いのかを確認するため、もう一度、batman the dark knightでImage2Motionしてみる。

動画５

いや…動画、動かない。
これはつまるところ、プロンプトによる影響が少ないのか、あるいは、もっと色々とプロンプトに入れないとダメなのか、の二つの結論が考えられる。

そしたら最後、プロンプトモリモリのやつでやってみる。