Runway Gen-2 で動画を作ってみる。
Runway に静止画やテキストからAIが動画を作成できる"Gen-2"という機能があります。
これを使ってショートムービーを作ってみました。
トレーラームービー風
どうせなら全てAIに任せてみようということで、ChatGPTにストーリーとシーンに分けたプロットを出してもらいます。
オーダーは「深海の蛸のSF」。
トレーラームービー風にしましょう。
The Submarine Kraken
深海に住む巨大な蛸が古代の力を保護していたが、人類の探査によって力が解放され、結果として海中都市が壊滅するストーリーです。人類の未来と未知の力に対する挑戦がテーマとして描かれています。
人間的にはまったく面白く無さそうですが、AIに任せると決めたのでこれで行きます。
各シーンのプロットを英語で出してもらい、それをGen-2のText to Videoへ。
それぞれ４秒の動画が生成されます。
どの動画もスロー再生のようにゆっくりとした動きになります。編集時に120〜200%に再生速度を変更して使ってますので、実質3秒無いくらいのクリップです。
BGMもAIということで、MusicGenでそれっぽいのを作ってもらいます。
それらをつなぎ合わせて編集します。
ただ繋ぎ合わせただけでは、さすがにちょっとトレーラーっぽくもなく…
多少演出を入れさせてもらいます。
前述の再生速度の調整をそれぞれ入れ、色味を合わせます。
海底都市みたいなのは、これ動画？みたいに動きが少ない。ズームと光が広がるグローのような効果を加えました。
それでもまだ映像としてヒキとなる絵が足りない。
AIに任せると言ったのに、禁断のChatGPTをプロットを無視した画面追加。
泳ぐ人、女性の顔、触手うねうねをGen-2にオーダー。
あくまでChatGPT作品の編集の演出と言うことで…
スタッフロールをつけるとするなら、
Written: ChatGPT
Drawing: Runway Gen-2
Music: MusicGen
Editor: 自分
でしょうか。
ホームビデオ風
Image to Video という機能も使ってみましょう。静止画像を動画化してくれます。
もとの静止画像はStable Diffusionで作ります。
『家族で森の中のログハウスに遊びに来た』という設定で何枚か出力させます。
それをGen-2に読み込ませるのですが、動きは完全にGen-2任せです。
Gen-2任せというか、指示したくともテキストを加えてもうまくいきませんでした。手を上げさせたいと「hands up」と入力しようものなら、まったく違う手をあげる映像が出力されます。
意図を汲んでくれてそうな時もあるのですが、基本的にはテキストの方に強力に引っ張られる感じ。静止画像の原型すら残らないことが多い。どこかでパラメーター設定があるのかもしれませんが、何も入力せず出てきたものを使いました。
人間の動きに関しては割と理解しているようで、歩いているような画像であれば、まず歩いてくれます。
Stable Diffusion の設定は[model: BRA V6, LoRA: LowRA]として、割とリアルなテイストを目指しましたが、動画化すると顔のニュアンスは潰れてみんな同じような顔になりますね。
家族という設定ではちょうどいいのかもしれませんが…
ドキュメンタリー風
動物を追ったネイチャードキュメンタリー風も作ってみます。
草原の動物、細かな種は指定せず「草食動物」「肉食動物」のみの指定にしました。Gen-2がどう描くか興味があったので。
「肉食動物」は口がポイントのようで、身体は牛のようであったりあまり区別されていない。
顔と尻の前後も不明で入れ替わったり、脚の数も増減したり、形が定まらないけど何となく動物っぽいのが面白い。
AIの進化のスピードを見ていると、こんな変な生き物を出力できるのも今のうちだけかもしれないと思ったり。
また何か作ろう…
作成してくれたAIたち
#Runway #Gen2 #ChatGPT #StableDiffusion #BRAV6 #MusicGen