AIに動画作らせたらたいしたもんですよ~Ruway gen2やってみな、飛ぶぞ~
動画生成AI
IT関連のニュースを見ると、世の中はAIばかりです。
世界がAIを中心に回っていると言っても過言ではありませんよね。
そう！世はまさに生成AI時代！
テーレッテ～ ありったけの！ゆ~めを～かきあつめ～
皆さんは心のワンピース探していますか？ ←全然うまくない
さて、この世のすべてを手に入れるべく、相変わらず生成AIについての情報を集めておりますけれども。
生成AIと言えば、ChatGPTのような「文章生成AI」が主流ですよね。
APIも公開されて、様々な用途で使われています。
「画像生成AI」も案外触れた事ある人は多いのではないでしょうか。
noteのタイトル画像とか、AIで作ったりしてる人もいるでしょう。
一方で、何に使っていいかわからないのが「動画生成AI」だったりします。
たまにリールで流れてたりしますけど、実際どんな用途に使うのが向いているのでしょうかね。
そもそも動画生成AIって今何ができるんじゃ？
こんな時はぐだぐだ調べてないで、とりあえずサインイン！！
Runway gen-2
Runway gen-2とは？
と言う事で今回試してみるのは「Runway gen-2」
界隈ではよく聞かれる、動画生成AIでは無いでしょうか。
Runway gen-2は、Runway社が作ったテキストや画像からも動画を生成できる動画生成AIサービスです。Runwayって会社名だったんですね。
genって何やろ？
いくつかプランがありますが、保守的&貧乏人の私。まずは無料プランで出来るところまでやってみましょう。ｱｲﾊﾌﾞﾉｰﾏﾈ-
どうやら、最初に525クレジットがもらえます。1秒5クレジットで105秒の動画が作れるようですね。太っ腹ですなぁRuwayさん！
そして一度の生成で4秒間の動画が作成できるみたいです。
4秒と言っても馬鹿にしちゃいけません。
エンペラータイム中なら、クラピカは4時間も寿命が縮んでます（？）
ちなみに生成した動画に対して4秒ずつ延長ができ、最長で16秒の動画が作れます。
クラピカなら16時間の寿命が… ってもうええわ！！
Text/image to Video
様々な機能を持つRuway gen2なのですが
まずは画像からもテキストからも動画の生成が可能というのが特徴です。
こんな感じでプロンプトを入れるところと画像を貼りつけられるところがあります。
それで[Genarate 4s]を押下すると生成してくれるって感じ。
それにしても操作がわかりやすいですよね。何も見なくても「こうかな」で出来ちゃうUIってホント素敵です。
早速試しにこのようなプロンプトでやってみましょう
A boy in a kimono swings a sword（着物を着た男の子が剣を振る）
さてどうなるでしょうか。
おぉ~ こんな感じなんですね。だいたい1分ぐらいで生成してくれました。
4秒なので刀を振っているかと言われると、微妙なのですが、各部分がなんかゆる～って感じで動いてます。
所々破綻している部分がありますが、案外クオリティが高い動画ができるのだと感心しました。
しかし毎度やることが「すもも太郎」に引っ張られている気がするぜ。
せっかくなので、すもも太郎のお供たちを一緒に歩かせてみようではないか。
A dinosaur, a white mouse, and a platypus are walking together（恐竜とシロネズミとカモノハシが一緒に歩く）
いつも思うけど、どういうメンバーなの？
ぎえーーーー！！！
いや、どこの惑星の出来事やねん。ツッコミどころが満載。
いや待てよ、以前も画像生成をした時に、情報を入れすぎると画像が破綻していたことがありましたね。
動画生成でもそこは同じなんですね。うーん前衛的だ。
まずはシンプルに！
次は画像も取り込んでやってみたいと思います
jumping mouse （ジャンプするネズミ）
まずはこのあたりからやるべきでしたね。
おぉ！なんか可愛い。表情が豊かな動画に仕上がりました。
指示したジャンプは全然してないですどね。
もしかして画像取り込んだ場合は、プロンプトは無視されるのかしら。
わからない事をわからないままにする男なので、わかりません。
勝手に調べていただけたら幸いです。
Style
「Style」では、アニメっぽかったり、実写っぽかったりを選択できるようです。
画像生成だと、このあたりをプロンプトで指示していましたが、gen2では選択できるようですね。
[着物を着た少年]のプロンプトも[Style]で変えるとアニメっぽくすることができました。
これだと生成されるものがイメージしやすいですよね。
Camera Motion
「Camera Motion」は、撮影しているように「カメラの動きと強さ」を指定できる機能です。
このようにズームしたり回転したり、視点をかえた形で生成してくれます。
今ある動きは下記のようなところですね。
様々な組み合わせ強弱強弱で、微妙な動きの調整ができるのは秀逸です。
Horizontal：水平
Pan：左右
Roll：回転
Vertical：垂直
Tilt：下から上へ
Zoom：ズーム調整
Motion Brush
「Motion Brush」は画像のなかで「動きをつけたい部分」をブラシでなぞり、動きをつける機能です。
例えばこのように何も指定無しい場合では、全体がじんわり動くって感じです。
てか、これはほぼ動いてねーな。4秒返せ。
そんな動きが無い場合は、ブラシで動きを出したいところを指定します。
そうすると背景などは動かさず、ピンポイントに動かしたいところに動きを出すことができます。
これも動きを微調整する項目がいくつかあります。
Horizontal：左右
Vertical：前後
Proximity：回転
Ambient：面ゆらぎ
面ゆらぎ？ってなんだろうな。1/fゆらぎ？美空ひばり？
よくわからないので適当に数値をいれてやってました。
こんな感じでだいぶ鳥に動きが出た気がします。
少しずつハゲワシみたいなビジュアルになるのが少し気になりますが。
最初とは全然違う仕上がりですね！
まとめ
動画生成AIの面白さ
動画自体は短めのものしかできませんが、動きに微調整を付けられるのがGood！
機能を組み合わせて使いこなせば、思ったような動画に近づけられるのではないでしょうか。
もっと色々機能があったのですが、たくさん試していたら、いつの間にやらクレジットが1になってました。散財ぱねぇー
そんなに使いたきゃ有料版にしろよ貧乏人が！って話ですよね… チッ
嫁さんにプリンでも買って、サブスクの交渉してみます。
どれどれ… スタンダードプランで月額約1,870円（12ドル）か…
…ハーゲンダッツ買っていこう。
どんな用途で使えそう？
動画生成AIどういうところに使えそうかで言うと、
以前画像生成AIで絵本を作ろうとしていたので、「絵が動くデジタル絵本」なんか作ったら面白そうですね。
読者の想像力もかきたてつつ、臨場感も演出できそうです。
映画のようなストーリーを動画にするのはまだまだ難しいと思います。16秒という制約もありますし、そこまでの動きの指定は今のところ無理でしょう。
ただちょっとした商品のイメージ動画なんかは、既存の画像を使って、長さを延長していけばうまく利用できそうと思いました。
CMの一部とか、ミュージックビデオなんかにも良いかもしれませんね。
今はその程度ですが、Open AIの「Sora」は今出ている動画生成AIの中でもクオリティが段違いと言う事で話題になっています。
まだ一般で使うことはできませんが、これが使える日が来るかと思うと楽しみです。
何か動画生成AIで作品が作れたらいいなぁ～
その時はやっぱり「動く絵本！すもも太郎」に挑戦かしら。うふふふふ。