見出し画像

Luma Dream MachineでAI動画を作る

hubgry

Luma Dream Machineは2024年6月12日から無料のオープンベータが公開されてそろそろ1か月くらいたったところ。話題にもなってますね。
AIで動画を作れる時代になったので試してみました。

簡単に奥行きを出せる

写真を1枚放り込んでテキストも指定しなくてもこのくらいの動画にしてくれる。1回で5秒の動画が作れる。お肉を中心に映して欲しかった。

空を飛ぶ

地面に近づいて撮った写真から飛んでいく感じにしたかったけど、徐々にぼやけちゃってる。これも最初の1コマが指定した写真でそれ以降は全部AIが作成してる。

公開からの変更点

公開時点では1回で5秒の動画だけを作成できる状態だったはず。

後からExtend機能が追加された。
Extendは作成済みの動画をさらに1回あたり5秒拡張してくれるもの。最初と同じくテキストも指定できる。繰り返し使えるけど最大で20秒だったかな？ちなみに空を飛ぶ動画はExtend機能追加前に終了フレームを写真撮ってつなげて、その後でExtend機能を使ったので25秒とかになってる。

END FRAMEが指定できるようになった。これでシーンの移り変わる動画を作れるようになった。

1枚選択すると2枚目の選択が出てくる

END FRAMEを指定して空を飛ぶ

自然ばかりのところから都会へ飛んでいく感じにしたかったけど、ただの切り替わりになっちゃった。

風に揺れる花

この花の名前を知らないのですが、ユリ？が風に揺れて良い感じ。向こうに草原が広がってるわけではないけど、新世界が作り出されてる。こういうの楽しい。

良く見ると右隣にある花は椿っぽい？

違う花が並んでる？

羽ばたく蝶

アゲハだったのが、キタテハか何か別の蝶に変わっちゃってますね。

使って見た感想

最初の動画のように少し動かすだけで奥行きが感じられるのは写真と違った動画の魅力の1つ。それが簡単にできるのはすごいこと。もしそれが1人で食べに行った時だとしてもグラスが2つ以上並んでたりすることはありそう。

生き物を対象にするとStable Difusionを触った時のように感覚的に気持ち悪いって感じる動画がいくつかできました。ただ、5秒くらいであればちょっと動くくらいの時間しかないので顔の向きを変えたりくらいは簡単にできる印象。

END FRAMEを指定する時はテキストでしっかり説明書いて何回か繰り返さないと望むものを作るのは難しいかも。

他の人が作った動画で目を惹くものはAIを使って作成した写真を動画にしてるものが多いように感じた。人が受け取った印象を残すために写真を撮って、人が望むような動きを動画に期待するけど、同じ1枚の写真でも人間とAIでは見えている物が違うということかもしれない。見た、観た、視たの違いのような感じ。

AIは多くのデータから学習していて、自然界にある動きは学んでいるはず。そう考えると蝶は羽ばたくもの、青空の下の花は風に揺れるもの、という認識はされている。だからテキストで指定しなくても勝手にそのように動くように作ってくれる。

ただ、AIに文脈（コンテキスト）を理解してもらうのが難しいのかもしれない。ChatGPTなどのチャットAIでも1つのテーマごとに質問は分けたほうが良いってことを使い方のポイントとして挙げられていたりするけど、その場ではわかったように見えても多くのテーマを含めた会話を続けているとおかしな方向に話がずれることがある。さっきと言ってることが違ってきたり。動画は1枚1枚の写真の連続と考えると、どこかのタイミングでその写真を誤った認識をしてしまうと一気に形が変わったりありえない動きに変わったりする、ように感じる。人間が見たら揺れているのはずっと同じ花だけど、途中の1枚写真で花の角度が変わって花に見えなくなったらそこから他のものになってしまう感じ。

人間とAIのものの見え方が違うのであれば（できれば同じ）AIで生成した、AIが認識しているものを写真にして、それをインプットにしてAIで動画を作成するのが良いのかもしれない。それは「全部AIで作れるのですごい」ではなくて「全部AIで作らないと一貫性のあるものが作れない」ということかもしれない。写真も動画も有料のAIに手を出してないので実際のところはよくわかりませんが。

公式の動画など

もう少しAI動画の可能性を感じたいのであればまずは公式の動画を見てみてください。

Luma Dream MachineはGoogleアカウントがあれば無料で試すことができます。有料だとどのくらいでできるのかわかりませんが、無料だと順番待ちになるので完成までに結構時間がかかるかもしれません。


技術的な話というよりSFが好きだったりするなら、このマンガが面白くて良いです。人間とAIの違いについて興味深い描かれ方をされていて感情移入もできるところもあり、マンガの中でもキャラクターどうして議論されていたり。え？今なら1巻が69円！？って、いや全部買ってるけど。

『僕の妻は感情がない』

AIも色々出て来て今後も楽しみですね。
それじゃ、またねーノシ


いいなと思ったら応援しよう！