"Hailuo AI Video"における'Text to Video'と'Image to Video'についての短い考察

2024年10月31日 12:41

"Hailuo AI Video"って、'Image to Video'よりも'Text to Video'のほうが、短編映画に近付けるんじゃねえ？

はい、毎度、表題のとおりです。タイトルだけで終わってもいいくらい。
しかし、もう少し書かなければなるまい。

一点、ちょっと付け加えるが、表題で高々と叫んでいる事柄は、なにも"Hailuo AI Video"に限ったことではないかもしれないし、あるいは限ったことかもしれない。

ぼくが今いちばん時間を割いているのが、"Hailuo AI Video"なので、ほかの動画生成AIに関しては、なんとも言えない。

そして、もう一点、ぼくの"Hailuo AI Video"におけるプロンプトの記述方法があまりにも複雑が故に、とんでもない映像が生成されているんだろ、という可能性は否めない、それが原因だと言ってもいいかもしれない・・・。

じゃあプロンプトの記述方法変えろやっ！

という話なのだが、正攻法のみんながやっている当たり前のプロンプトで、当たり前のそれなりのクオリティの映像を生成して、作品を作り上げたところで、果たしておもしろいのか？

いまや、ある程度のクオリティの生成動画なら、誰だって作れるのだよ、いやAIが作ってくれるのだよ。

だったら、そこにどれだけのアイデンティティやクリエイティビティを詰め込み、何を生み出すのか、という部分こそ、これからのAIを活用したクリエイティブワークのあり方ではないのか、諸君。

はい、無駄な前置きは、まあどうでもいいけれど、きのう結局、映像をアップしないまま、睡魔に勝てずに眠ってしまったので、今日アップするっちゃ、それっちゃ。

そこでね、なんで睡魔に勝てなかったかと言うと、動画生成のためのプロンプトを複雑化しすぎて、まったくもって破綻した映像しか作れなくて、気が付いたら夜中の三時だった。だから最後に、プロンプトなしで生成したら、地味だが、意外とまともな映像で・・・、ギャフンとなった、明けて今日である。

その過程でも、過程なんて大そうなものではないが、説明は省いて、映像だけアップしておく。こんなことを延々やっていたんだよと・・・。

これはこれで、狂ってていいんだけれど、ヴィジュアルが破綻してるでしょ。あともう一段階動画生成AIが進化したら、このプロンプトでも十分ちゃんとした映像が生成される可能性は秘めている、という状態かな。

何も記述しない、文字通りほとんどは、ヴィジュアルから読み取れる動きしか付加されないけれど、綺麗ではある。

単純明快な最低限の動きを記述しながら、徐々にテンションを上げてゆく。現段階の動画生成AIには、このくらいが一番ちょうどいいプロンプトの単純さなのだと思う。

ただし、これも画像の複雑度とか、その他の要因に大きく依存したりするので、まったく一概には言えないのである。

空にボールが浮かんでいるだけの画像だったら、そこそこ複雑なプロンプトでも、対応されるかもしれないし、そこはトライアンドエラーと、運次第なところもあるから、

結局そうなってくるとさ、物語性のある、ある程度の長さの映画とかを制作しようと思ったら、徹底的に作業を効率化して、やることを少なくしていかないと、まったく完成しないのである。

ひとつのシーンを延々作ってて、予告編すらも出来ないまま、力尽きて終わってしまう。

短編映画の映像素材制作を、いったん"Image to Video"に切り替えて、強く思ったこと。

だから、ちょっと表題からずれたり、戻ったりだけれど、だから、いっそのこと勢いで、'Text to Video'だけで、集中して一気に短い作品を作ってしまった方が、実は、きちんと映画を完成させられるのではないかという、いまの体感的な感じ、って話。

そんなことを考えながら、いま再び複雑なプロンプトで再度、動画を生成していたら、違う画像だとわりといい感じの映像になったりするんだもんな。

これ、けっこう複雑なことやろうとしてるけれど、ちょっと指示と違うんだけれど、結果としてそんなに破綻してないし、かっこいい。

同じ画像で、プロンプトなし、これもかっこいい。

ちょっと単純なプロンプト付加すると、プロンプト通りだし、なかなかかっこいい。

あ・・・、やっぱ運だわ。

人生なんて、運だよ、それっちゃ。ほんと、それっちゃ。

はい、きょうは早くに記事をアップできたから、あと5個ぐらい記事が書けるだろ（嘘）！

では、一回目は、ここまで。

ciao.