文章や画像から動画を自動生成できる動画生成AI「Gen-2」の使い方
現在、文章生成AIのChatGPTや画像生成AIがまるで人間が作成したような文章や画像を自動生成することで話題となり、多くの人に利用されるようになってきました。
一方で、文章や画像から動画を自動生成する動画生成AIも着々と進歩しています。今回、その中でも最も進んだ動画生成AIであるGen-2について、その使い方を紹介します。
１．Gen-2の概要
Gen-2を開発したのは、画像生成AIのStable DiffusionをStability AIと共同開発したことで有名なニューヨークのスタートアップ企業のRunway Researchです。
同社は、今年２月に、文章や画像を使用して、既存の動画から新しい動画を生成する動画生成AIのGen-1を発表しました。
さらに今年3月、Runway Researchは、文章のみから動画を生成できるGen-2を発表しました。
文章から動画を生成するAIとしては、昨年秋にMetaがMake A Video、GoogleがImagen Videoを発表していますが、Gen-2は、これらの先行AIと比較しても、より高画質で、複雑な指示にも対応できるものとなっています。
また、今年7月には、1枚の画像から動画を生成できる機能をGen-2に追加しました。そして、Gen-2では、これらの機能を実際にユーザーが利用することができます。
２．Gen-2の始め方
Gen-2を利用するためには、まず、以下のRunway Research公式サイトにアクセスします。
次に、公式サイトの最初の画面で、中央下の「TRY RUNWAY FOR FREE」をクリックすると、以下のアカウント作成画面に移ります。
上のアカウント作成画面で、電子メール又はGoogleアカウントやAppleのアカウントを使用して、アカウントを作成してください。すると、以下の操作画面に進むことができます。
RunwayのWebサイトでは、Gen-2及びGen-1による動画生成以外にも、画像生成、画像編集、動画編集などの様々な機能を利用することができます。
〇 無料コースと有料コース
無料コースでは、Gen-2の機能を計25回体験できる125クレジットがもらえます。
有料コースには、月15ドルで625クレジットもらえるスタンダードコース、月35ドルで2,250クレジットのプロコース、月95ドルの無制限コースの3種類のコースがあり、無料コースよりも画質や使える機能がアップします。
〇 iPhoneアプリでの利用
App StoreからRunwayMLアプリをダウンロードし、iPhoneでGen-2を使用することもできます。Webブラウザの場合と同様に、文章や画像（iPhoneの写真アルバム）から動画を生成することができます。
３．文章からの動画生成
上記のGen-2の操作画面で、「Text to Video」をクリックすると、以下のテキスト入力画面に移ります。
テキストボックスに、生成してほしい動画を指示する文章（プロンプト）を日本語又は英語で入力し、「Free Preview」をクリックしてください。
例えば、「A fearsome dragon breathing fire」（火を吐いている恐ろしいドラゴン）と入力すると、以下のように、生成される動画のプレビュー画像（静止画像）が4枚表示されます。
4枚の画像の中から1枚を選択し、マウスのポインターを合わせて「Generate this」をクリックすると、1分ほどで以下のように4秒間の動画が生成されます。
なお、プレビュー画像の生成は、クレジットを消費せずにできるため、AIが提示した4枚の画像の中に気に入ったものが無ければ、何度でもやり直すことができます。
以下の動画は、Gen-2で生成したMP4形式の動画ファイルをChatGPTのコードインタープリタでGIF画像に変換したものです。
生成した動画を自分のパソコンにダウンロードするには、生成した動画の右上のダウンロードマークをクリックします。すると、MP4形式の動画ファイルをダウンロードすることができます。
〇 動画ファイルのGIF画像への変換
短い動画の場合は、動画ファイルをGIF画像に変換すると、上の動画のようにそのままnote記事に貼り付けることができます。その際、ChatGPTのコードインタープリタを使用すると、簡単に動画ファイルをGIF画像に変換することができます。
最初に、ChatGPTにコードインタープリタをセットしてください。
次に、入力欄左の「＋」ボタンをクリックして、動画ファイルをChatGPTにアップロードします。
そして、以下のプロンプトを入力すると、変換したGIF画像をダウンロードできるようになります。
なお、noteに掲載できる容量にするため、フレームレートを元のMP4ファイルの毎秒24フレームから、毎秒15フレームに落としています。
この動画全体を毎秒15フレームのGIF画像に変換してください。
〇 日本語でのプロンプト入力
動画生成を指示するプロンプトは、日本語でも指示することができますが、英語の方がより正確に指示に従った動画が生成される場合があります。
あまり変わらない場合もありますので、先ず日本語で入力して、プレビュー画像を確認し、あまり指示通りに生成されていないと感じたときは、英語で入力し直すというやり方がよいかも知れません。
上の「火を吐いている恐ろしいドラゴン」の場合は、日本語と英語であまり違いがありません。しかし、下の「ジャンプしている青い猫」の場合は、日本語のプロンプトだと猫はジャンプしておらず、青くもありませんでした。
このように、日本語のプロンプトの場合は、英語とあまり変わらない場合と、いくつかの情報が抜け落ちてしまう場合がありますので、プレビュー画像を見ながら上手く使い分けましょう。
〇 文章からの動画生成例
４．画像からの動画生成
最初のGen-2の操作画面で、「Image to Video」をクリックするか、テキスト入力画面で「IMAGE」をクリックすると、以下の画像入力画面に切り替わります。
画像入力ボックスに、動画生成の材料となる画像ファイルをドラッグするか、同ボックスをクリックして画像ファイルをアップロードしてください。
画像からの動画生成の場合は、文章からの動画生成のようにプレビュー画像を見ることはできません。
今回は、SDXL 1.0ベースのDreamShaper XL1.0モデルで生成した以下の画像を入力して、動画生成してみます。
「Generate」をクリックして2分ほど待つと、以下のように4秒間の動画が生成されます。
なお、以下の動画は、Gen-2で生成した動画ファイルをChatGPTのコードインタープリタで、毎秒15フレーム、512×512ピクセルのGIF画像に変換したものです。
なお、元の動画ファイルは毎秒24フレーム、768×768ピクセルでしたが、noteに掲載できる容量にするために画質などを落としています。
次に、アニメイラスト系の画像で試してみます。以下の画像は、SDXL 1.0ベースのblue pencil-XLモデルで生成した画像です。
「Generate」をクリックして2分ほど待つと、以下のように4秒間の動画が生成されます。
なお、以下の動画は、Gen-2で生成した動画ファイルをChatGPTのコードインタープリタで、毎秒15フレーム、512×512ピクセルのGIF画像に変換したものです。
なお、元の動画ファイルは毎秒24フレーム、1024×1024ピクセルでしたが、noteに掲載できる容量にするために画質などを落としています。
〇 画像からの動画生成例
