動画生成AI Luma Dream Machineを遊んでみた

6月12日にLumaが公開したLuma Dream Machineを各パターンで遊んでみた。名詞だけだとどうなるか、英語と日本語での出力の違いや文章にするとどうなるか、画像を追加するなどの比較をしていく。

＊Google Driveから動画をアップロードしているので、多くの動画の画質が悪くなっています。本当の出力はもうちょっと画質がいいです。

Word to Movie

今回は「飛行機」を基準にして出力していく。単語では「飛行機」、動詞ありであれば「着陸する飛行機」、徐々に単語を付け足して比較していきたいと思う。

「飛行機」

動いて欲しかったのは飛行機だが、謎の人が登場してそっちが動いている。飛行機も形が大分崩れているし、求めている出力としては失敗ですかね。

「着陸する飛行機」

着陸する飛行機なのに後ろ向きに着地していますね。飛行機に注目するとエンジンが二つで、飛行機の形としては正解ですが、車輪は4つで、付いている位置が怖いですね。ついでに軍人さんが現れたりしてますし、付属の要素が多い気もするのでより詳しく指定してみたいと思います。

「コックピット内から見る着陸する飛行機」

次にコックピットの画角から着陸する飛行機を生成してもらいましたが、細かいメーター等は分かりませんが、左のハンドルは明らかに車のものですよね。ましてや、副操縦士もいるっぽそうな広い飛行機ですが、パイロットが被っているのはヘルメットでしょうか。ぼーっと見る分には騙せますが、よく見ると不思議な部分が多くありそうです。次は、天気の様子や空港、飛行機の指定までしてみますか。

「晴れの日に羽田空港で着陸するボーイング747」

離陸しましたね。少々飛行機の縮尺がぐちゃぐちゃになる部分がありますが、比較的動画としてはうまく出力できているのではないでしょうか。正面や横からなどの画角の指定を入れると、より綺麗な、求めている動画ができるのではないかと思います。背景は今回羽田空港を指定しましたが、雰囲気としては近い気がしますが、一部倒壊しそうな建物もあるので、合っているかは不安ですね。

まとめ

今後も追加していきますが、どうでしょうか。Lumaの動画生成は可能性は感じますが、単語や文章からだけだとよい動画出力を得ることは難しそうです。また、公式のドキュメントでも書いてありましたが、よりよい出力を得たい場合、画像をアップロードするや、多くの文章を与えるとよいそうです。

Camera motion: “A dramatic zoom in”, “An FPV drone shot”

https://lumalabs.ai/dream-machine/creations

引用から、画角もドローンやらズームインなどを指定できるそうで、より頭に思い描いたものを出力できそうですね。