Kling+DAZ STUDIOで動画作成したらスゴかった
Klingは、現時点でもっともクォリティが高いと言われる動画生成サービス。
これに、実写系3DCGソフトのDAZ STUDIOを組み合わせて、動画生成をしてみようという試みだ。
具体的には、DAZ STUDIOでレンダリングした画像を、Klingのスタート画像として与えて、プロンプト指示で動画作成させるというもの。
とりあえず作ってみたのがコレ。
過去のレンダ画をKlingで動画化。
— かぶき (@kabukinger) January 18, 2025
プロンプトは
handheld device filming. (手持ちデバイスで撮影？）
man surprise.another man sneeze. （男が驚く。もう一人はくしゃみ）
くしゃみは反映されなかったけど、驚きは反映された。
生きてる感すげぇ。 pic.twitter.com/FEuUXUJddN
これだDAZ STUDIOのそっくりさん作成プラグイン（FaceTransfer2）で作った有名人っぽい顔のフィギュア。あんまり似てないので、結果として公の場に出してもギリオーケーか？という出来栄えだ。
これなんかもだいぶすごい。
Kanade8のプロモ画をKling AIで動画化。
— かぶき (@kabukinger) January 11, 2025
良く出来てる pic.twitter.com/BC7biBoauE
プロモーション用の画像をそのままKlingに渡しただけなんだけど、ゲームとかのムービーパートに出てきそうなクォリティだ。
ちょっと物理法則と言うか、桜の落ち方が不自然な感じはするけど、まあまあ許容範囲だろう。
失敗例も出しておこう。
これは、人間二人のアクションシーンを作ろうとして、人体融合が起こってしまった例。
Klink AI、人物が二人居るとおかしくなってしまうみたい
— かぶき (@kabukinger) January 12, 2025
距離を置いて歩くとかだったらいいのかな pic.twitter.com/9VUg2frRRv
そう、けっこう失敗が多いのだ。
これは車もカメラもぐるんぐるん回した結果、AIがどっちが前やら後ろやらわからなくなった例だ。
NG集「前が後ろで 後ろが前で」 pic.twitter.com/l7AceKO5gi
— かぶき (@kabukinger) January 22, 2025
一般の人間ができないような動きとか、そんな動画見たことねぇなっていうシチュエーションを指定すると、だいたい失敗する。
これは、「この味は嘘をついている味だぜ」のシチュエーションを動画化。あれ、埋め込みにならないな…センシティブ判定とかされてかも。
https://x.com/kabukinger/status/1880784918390903208
ゆっくり歩くとか走るとか、ダンスするとか、キョロキョロするとかは得意。
そうなるとなー、「おっ、リアルだな」という動画は作れても、面白い動画作るのって難しいんじゃないかと思うのだ。
工夫すればどうにかできるのかな…
とにかく、これから先、破綻のない空想上の動きとかもできるようになることを期待して、もう少しKlingで遊んでいようと思う。
DAZ+Klingの使い方のかんたんまとめはこちら。