1枚の画像を4つの動画生成AIで動かしてみる！
「動画生成AI」とは、AI(人工知能)を使って自動的に動画を作り出す技術です。
これにより、本来なら3DCGソフトや実写撮影をしないと作れないようなさまざまなスタイル・内容の動画を生成できてしまいます。
しかし、いざ動画生成AIを使おうとすると、さまざまな会社から多種多様なものが提供されていて、どれが良いのか迷ってしまうことがあります。
そこで、この記事では異なる動画生成AIの出力結果を比較し、それぞれがどのようなことができるのかを検証します。
また、この検証を通して動画生成AIの魅力と可能性を一緒に探っていけたらと考えています。
動画生成AIをまったく知らない人にも「動画生成AIってなんだか面白そう！」と思ってもらえるよう難しい説明は避け、わかりやすい記事を目指して書きました。
ぜひ最後までご覧いただけると幸いです。
※お時間のない方は、■総合評価 の項目に、検証結果をまとめた動画を用意しているのでご覧ください。
■動画生成AIとは
AIが生成してくれるサービス「動画生成AI」をご存知でしょうか？
最近、SNSを中心にAIが生成する動画が注目を集めています。
以前ネットで話題となった「リアル千と千尋」や「リアル桃太郎」をご存知でしょうか？
これらも動画生成AIによって作られたものです。
動画の生成方法には主に2つのパターンがあります。
1つは「プロンプト」と呼ばれる文字をAIに入力して、その内容に基づいて動画を生成する方法です。
もう1つは、AIに動画にしてほしい画像を渡し、それを基に動画を生成する方法です。
この記事では、画像から動画を生成する方法を使用します。
文字から生成する方法と比べて、高品質な画像を用いることで、最終的によりクオリティの高い動画が作れるというメリットがあります。
そのため、この方法は特に写実的な動画を作成する際に多く使われています。
■使用する動画生成AI
使用した動画生成AIは以下の4つです。
Pika 1.0
開発国・企業 : アメリカ、Pika
PixVerse
開発国・企業 : 中国、AIsphere
Runway Gen-2
開発国・企業 : アメリカ、Runway AI
StableVideo
開発国・企業 : イギリス、Stability AI
■比較検証
前提
それぞれの動画生成AIに画像生成AI Midjourney で生成した同じ画像を渡して動画化を行ないます。
生成に使用する画像はアニメや漫画のような画像ではなく、基本的に写実的でリアル寄りの画像を用意しました。
動画化する際に、いくつかの設定項目や動かす範囲を選択するといった機能などがあるのですが、一旦それらの設定や機能は行わずに基本的にはデフォルトの設定で動画化を行ないます。
動画生成AIは基本的には有料のサブスクリプション契約での使用ですが、今回はお試し段階ということで記事中の動画は全て無料プランで生成を行なっています。
そのため、1つの動画につき5秒ほどの動画となっていることをご了承ください。
また、記事の見やすさの都合上、この章では生成された各動画をgifデータに変換した上で記載していることをご了承ください。
記事の最後には、すべての比較動画をまとめた動画を記載しています。
※ 画像生成AI Midjourneyに関しては以前に記事を書いてますので、興味のある方はお読みください。
評価基準
生成した動画を比較する上での評価基準は、各モチーフごとに前後の自然な動きの繋がりが保てているかという「動きの一貫性」と 単調な動きになっていないかという「動きの面白さ」を基準とします。
『お菓子の街』
◆使用画像
◆出力結果
Pika
PixVerse
Runway
StableVideo
◆評価
StableVideo > PixVerse・Runway ≥ Pika
StableVideoのみドローンで撮影したかのような街の奥へと進む面白い映像が生成されました。
PixVerseとRunwayはほぼ同じような結果が得られ、Pikaは車の形が変わってしまったりと違和感のある結果となりました。
『車と煙』
◆使用画像
◆出力結果
Pika
PixVerse
Runway
StableVideo
◆評価
Runway > PixVerse・StableVideo > Pika
煙のようなは流体がどのような動きになるかという点に着目しました。
自然なもくもくとした動きになるか注目です。
1番自然な動きはRunwayです。何ら違和感なく煙が流れるように動いているように見えますし、唯一目の前を横切る煙まで生成されています。
PixVerseは煙の動き自体は自然ですが、全体的に同じような動きで単調に感じます。
StableVideoも良いのですが、煙がドライアイスのようにだいぶ動きがあり違和感を感じます。
Pikaはもくもくと小刻みに動いており、特に違和感を感じました。
『車と男』
◆使用画像
◆出力結果
Pika
PixVerse
Runway
StableVideo
◆評価
Runway・PixVerse ≥ StableVideo > Pika
車が動くことを期待し、路上に男性が車に乗っている画像を用意しました。
RunwayとPixVerseは惜しくも男性の乗る車は動きませんでしたが、周りに映り込んだ車は動き、全体的に自然な動きになりました。
StableVideoは男性の乗る車は動きましたが、平行移動するような動きで違和感を感じます。
Pikaは男性の頭の動きが小刻みに揺れるような不思議な動きを見せました。
全体的に、元画像の男性が乗る赤い車は見切れていたため、車と認識しづらかったのかもしれません。動画生成AIに画像を渡す場合は、被写体が何かをわかりやすい画像を意識してあげる必要がありそうです。
『鹿』
◆使用画像
◆出力結果
Pika
PixVerse
Runway
StableVideo
◆評価
Pika・Runway > StableVideo > PixVerse
Pikaの生成した動きは唯一、鹿が顔をこちらに向けたため驚きました。
Runwayはライティングが若干変化していますが、鹿の歩行はほぼ自然に見えます。
StableVideoもRunwayと同じく鹿が歩いたのですが、足の動きがRunwayに比べると不思議な動きになっていることが確認できます。
PixVerseは耳が少しぴくっと動いたのみで全く鹿が動いてくれませんでした。
四足歩行の動物という難しいモチーフを選んでしまったため歩行していても足の動きには違和感があり、比較すると良いもののどれも完璧とは言えない結果になりました。
『SF感のある飛行機』
◆使用画像
◆出力結果
Pika
PixVerse
Runway
StableVideo
◆評価
Runway > PixVerse・StableVideo・Pika
飛行するSF感のある乗り物が建物の間を飛んでいく画像を用意しましたが、どれも対自然な動きはしてくれず、良い結果が得られませんでした。
唯一、Runwayは建物と乗り物が別の動きをし、多少自然に見えました。
その他はそれぞれの乗り物を個別のものとして認識しておらず、全体的にクローズアップするような単調な動きになりました。
『群衆』
◆使用画像
◆出力結果
Pika
PixVerse
Runway
StableVideo
◆評価
すべて違和感を感じる結果になった
人が往来している場所の画像を用意してみましたが、どれも人が変形したりと違和感のある動きになってしまいました。
情報量が多い画像を動かすことはかなり難易度が高いことを感じますし、人というモチーフは少し形が破綻するだけで違和感に繋がる難しいものだと思いました。
『マグロ』
◆使用画像
◆出力結果
Pika
PixVerse
Runway
StableVideo
◆評価
どれも一見問題はなさそうだが、よく見ると不思議な動きをしている
パッと見ると、どれも動いていて良いように思えますが、よく見るとその場でただ動くだけで進んでいなかったり、進んでいてもヒレの動きがおかしかったりという違和感に気づきます。
『鳥』
◆使用画像
◆出力結果
Pika
PixVerse
Runway
StableVideo
◆評価
Pika > PixVerse・Runway・StableVideo
どれも大差はないのですが、Pikaのみ鳥が羽ばたくような動きを見せました。もしかしたら、鳥一匹だけなら違和感のない動きをしてくれていたかもしれません。
その他、PixVerseは謎の黒点が現れ、Runwayは鳥が変形、StableVideoは鳥が流されていきました。
『女性と繁華街』
◆使用画像
◆出力結果
Pika
PixVerse
Runway
StableVideo
◆評価
PixVerse > Pika > Runway・StableVideo
PixVerseとPikaは動画の最初から最後まで女性の顔に一貫性がありますが、
RunwayとStableVideoは動画の最後には別人の顔のように変化してしまいました。
PixVerseは一番違和感を感じる点が少なく、次点のPikaは口の動きに違和感を感じたためこの順位としました。
■総合評価
この記事で行なった検証の出力結果を1つの動画にまとめました。
個人的な総合評価として、以下のような点数をつけてみました。
Runway：70点
動きとしては自然な動きをしようとしてくれる。ただ見た目の一貫性に欠ける場合が多かった。
StableVideo：60点
他と比べて優れているケースもあったものの見た目の一貫性に欠ける場合が多く見られた。
Pika：50点
画質の低下が見られるものの、対象が何であるかを認識する力が強い気がした。
PixVerse：40点
動かす対象として認識してくれない場合や面白い動きをしてくれないことが多く見られた。
ただ、これは今回のような画像を入力に使用したケースであり、アニメのような画像ではPixVerseが優れているとも言われていたりと使用する画像によって結果は異なるようです。
この記事でやったような動画生成AIの比較は、他にもやられている方がSNS等で探すといらっしゃいます。
このツイートの方も同じように4つの動画生成AIの比較をされています。
#image2video #TaylorSwift
— NeverEnds | AI Video generation (@NeverEnds_ai) December 3, 2023
AI generated Taylor's smile
Try our revolutionary AI-powered image2video product.
🚀 Like & Retweet for a chance to win FREE VIP Access! 🌟#neverends #pika #runway pic.twitter.com/Jnn9skspRy
動画生成AIを使ってみたい方は、ぜひこの記事を含め様々な人のパターンの異なる比較を見た上で、自分のやりたいことを実現できるものを見つけて欲しいと思います。
■まとめ
どうでしたでしょうか。
そもそも1枚の画像がこんなにも動き出すのかと驚かれた方もいたのではないでしょうか。
少しでも、動画生成AIの魅力や可能性が伝わっていたら嬉しく思います。
そういえば、この記事の執筆中にこんな動画が公開されました。
有名な動画編集ソフトAdobeの「Premiere Pro」に動画生成AIツールをプラグインとして統合することを発表したのです。
そして、なんとこの記事で比較検証に使用した動画生成AI「Pika」と「Runway」もPremiere Pro内で使用できるようになるようです。
(上記動画の01:57でPikaが、02:30でRunwayが使用されていることが確認できます。)
このような技術の進化により、動画制作のハードルを下がり多様な動画を手軽に作成できるようになると感じました。
今後も動画生成AIの進化に注目し、新たな可能性を探求し続けることで、表現の幅をさらに広げていきたいと思います。