見出し画像

Runwayセカンドトライ

owlet_notes99.9

Image to Videoが得意なコト

「Runway」のImage to Videoは、背景の変化は得意そうです。
けっこうリアルに生成してくれます。
試した範囲では、

  • 例えば「海の波」や「流れる雲」は得意

  • 背景の中のモノを動かすのは難しい
    例えば、翼を動かしながら進む鳥
    海の上の船の上下の揺れ

という感じです。
工夫の余地はありそうなので、今後解決するかもしれません

今回、画像生成から動画生成までをこういう手順で進めています。

  1. Leonald.Ai

  2. Clipdrop
    Sky Replacer
    RELIGHT
    Uncrop

  3. Runway
    IMAGE
    Camera Motion
    IMAGE + DESCRIPTION

※Runwayの無料枠で使えるのは125クレジット。
　Gen-2の25秒、Gen-1の8秒などの枠が使えます。
　消費したクレジットは回復しません。
　追加するには有料のサブスクリプションを申し込む必要があります。

動画生成AIのために画像生成AI

まず使用する画像を「Leonald.Ai」で生成。

ノアの方舟のような雰囲気を持つ船のは、別世界のような外観を与え、幻想的な海を進みます
（Google翻訳で英訳）
A ship with the feel of Noah's Ark gives it an otherworldly look and sails through the fantastic seas

上記文章を「Prompt Generation」機能に入力し、プロンプトのアイデアを出してもらいます。
「Prompt Generation」を使った方「Leonald.Ai」向きのプロンプトに加工してくれます。

Prompt Generation

今回は４番目を選びます。
予想と異なるプロンプトが出てくることがありますが、（不慣れな）自分が考えたプロンプトよりクオリティが高い画像が得られることが多いです。

The ship, with its ethereal aura and Noah's Ark-like design, sails through the enchanting seas of a magical realm.

「Generate」（生成します。）

「Leonald.Ai」で生成

今回はこの画像を使います。

使用する画像

さらに画像生成AIでレタッチ

「Clipdrop」の「Sky Replacer」で空の色を変更します。

「Clipdrop」の「Sky Replacer」
空の色を変更

次に「RELIGHT」でライティング効果を変更します。

「RELIGHT」

動画生成の際に動かせる範囲を広げるために「Uncrop」で背景を広げます。

「Uncrop」
背景を広げた画像

準備完了です。

Camera Motionで動画生成

「Runway」に移ります。
まず「IMAGE」を使い動画の生成を「Runway」に任せます（プロンプトを使いません）。

先ほど生成した画像を「IMAGE」に取り込む
Runwayが自動で動画生成

「Camera Motion」を使いカメラワークを使います。
カメラを大きく動かしたり、回り込むような動きはモデルを崩してしまうことがあるので、何度かトライ&エラーしてバランスのいい設定を選んでいます。
以下では「Horizontal」と「Vertical」、「Zoom」を設定しました。

「Camera Motion」を設定

Motion Brushで動画生成

「Motion Brush」で動く範囲を指定します（塗りつぶします）。

「Motion Brush」

IMAGE + DESCRIPTIONで動画生成

「IMAGE + DESCRIPTION」では画像もしくはRunwayで生成した動画に対してプロンプト（DESCRIPTION）で動きを指定します。
雲を動かすのはこちらでも可能です。
（海は指定しなくても自動で波の動きを生成するようです）

clouds flow

で雲が動きます。

clouds swirl,birds fly

と記述しても渦巻き（swirl）の動きは起きず、先ほど同じように左から右への動きになりました。
「birds fly」（鳥が飛ぶ）は効きませんでした。

「IMAGE + DESCRIPTION」

なお、オブジェクト全体を指定する（今回の場合船）しても、水平移動で自動で波の動きが加えられました。
手前の波は動いていませんが、プロンプトで指定すればうまくいきそうな感じがします。

オブジェクト全体を指定して移動

ちなみに、Image to Videoでは、上述の「birds fly」同様にシンプルでない動きや変化は生成できないようです。
例えば、以下のプロンプトは全く再現されませんでした。

The sky becomes dark, the stars begin to twinkle

試したいパターンはいくつもあるのですが、冒頭で述べたクレジットの上限があるので、慎重に使っています。


いいなと思ったら応援しよう！