Kling AIをどんどん使ってみる。(2)

この続きです。

LUMA AI の Dream MACHINE が無償使用では「IN QUEUE」状態で
長時間待たされるので、表現比較や使い分けの用途としては
実用範囲を超えてしまっています。
有償契約では待ちはないとのアナウンスも画面に出てはいますが、
突出して他より表現に優れているなどの特質がない限り、待ち時間
の改善だけで有償契約するというよりは、無償でも使わない方向に
行きがちというものです。

なので、Kling AI を中心に Leonardo.Ai でも使えるところは使って
行く、という感じで今は静止画からの動画生成を進めています。

最近、Kling AI の動画生成にも時間がかかるようになって来て
生成 97% から 100 % になるまでに数十分かかる時があります。
広く知られるようになってアクセスが増えてきたからでしょうか。
その一方、LUMA AI の Dream MACHINE は更に遅くなり、24 時間
待っても「IN QUEUE」のまま処理が始まりません（呆）。

（注：本原稿執筆の後、先に執筆した他の記事を先行して公開
した流れのために数日経過した 2024/08/10 時点では状態が
更に悪化して、Kling AI が半日待ち、 LUMA AI の Dream
MACHINE は数日待ちに至っています。）

今回も Adobe Express を使って GIF 化したもので、比較の説明を
この記事内で記述して行きます。

---

この記事に掲載した最終的な GIF 動画のサイズがサイトによって
異なる原因は分かっていません。
元の静止画は同じもので、動画生成サイズがサイトによって異なる
ということなのでしょうか。素材をつなげて長編動画にする際には、
元の MP4 動画を編集ソフトでつなぐことでサイズ調整は出来ますが
元の画像サイズが小さいと拡大して動画画面にフィットさせることに
なるので、画質に影響がないか確認は必要そうです。

まずはこの Stable Diffusion Web UI（AUTOMATIC 1111 版）による画
からの動画比較です。俳優のキアヌ・リーブスさんのようなキャラクタ
です。ロゴの大きさも比較できるようクロップでの排除をしていません。
静止画のプロンプトは全て CivitAI でご覧になれます。

Leonardo.Ai による動画化です。（ Image to Image 処理で取り込み後、
Image2Motion 処理で出力）

これは LUMA AI の Dream MACHINE でも既に動画化していましたので
比較してみます。Leonardo.Ai のような単純なカメラワークだけでなく、
人物の微動（生きている限り完全な静止は無理という程度）も表現
されています。ただ無償利用ではこれに（執筆当時）10 時間以上待ち
となると、比較しなければ（現在も）数分で動画生成される
Leonardo.Ai でも足りていると言えなくもないです。

Kling AI による Image to Video による動画化です。
予想外のギミックが飛び出して面白いです。
LUMA AI の Dream MACHINE よりもさらに人物の微動、手持ちカメラ
撮影の雰囲気が出ています。これが Leonardo.Ai と同様、（執筆当時）
数分で出力されるとは驚異です。

次はこの Stable Diffusion Web UI（AUTOMATIC 1111 版）による画
からの動画比較です。

 Leonardo.Ai の動画化です。なかなか悪くありません。

Kling AI の動画化です。これも良いですね。互角でしょうか。

次はこの Stable Diffusion Web UI（AUTOMATIC 1111 版）による画
からの動画比較です。

Leonardo.Ai の動画化です。Image to Image 処理に出来るだけ高画質の
CheckPoint ファイルを用いたのでしたが、Image2Motion 出力の時点で
後半にやや顔にひずみが出ているのが惜しいです。
しかしカメラワークと人物の動きは自然です。

Kling AI の動画化です。顔の崩れもなく、動きも自然です。
最後に喝を入れているのか、背後のロボット（恐らくはサイバー男子隊員
が不当にロボット化したもの）を守ろうとしているのか、口に発声の
動きがあります。予想外でした。面白いです。

次はこの Stable Diffusion Web UI（AUTOMATIC 1111 版）による画
からの動画比較です。

Leonardo.Ai の動画化です。
カメラ写野が回転するのは心理描写的にも悪くないですが、流れる髪
まで全く動かないのは残念と言えるかもしれません。

Kling AI の動画化です。写野も人物も動きます。目の動きも良いです。
髪の毛はやはりなびきませんが、無重力下ではこのような形をキープ
しながら揺れることはあります。どちらも演出次第で生かせますね。

次はこの Stable Diffusion Web UI（AUTOMATIC 1111 版）による画
からの動画比較です。先の人物が俳優の戸田恵梨香さんのような感じ
でしたが、次は俳優の石原さとみさんのようです。
そういえば2 つ前は俳優の泉里香さんのようにも見えます。

特に静止画描画のプロンプトで特定の人物を指定したりはして
いませんが、このようなハプニングは面白いです。
感情移入も容易になり創作の単純作業にも潤いが出ます。
（SD1.5 はモデル構築の情報収集において発生する肖像権問題などは
解決済の認識です。）

Leonardo.Ai の動画化です。まあ無難なカメラワークで以前なら充分
満足して CivitAI に公開していたと思います。

Kling AI です。
あら可愛い…(^^)。
もう少し顔の表情が連動してくれてもよかったか。
こちらを後日、CivitAI に公開予定です。
（時系列公開をポリシーにしているので公開順番待ち中）

次はこの Stable Diffusion Web UI（AUTOMATIC 1111 版）による画
からの動画比較です。

Leonardo.Ai の動画化です。
左目に原画からの変形がありますが、Image to Image 処理での取り込み
時点では問題なく、Image2Motion 処理で発生しました。すぐに再処理
出来る Leonardo.Ai ですからトライしましたが差はありませんでした。

が、静止画原画との比較が無ければ、特に顔の歪みの印象はないかも
しれません。

この作例は LUMA AI の Dream MACHINE でも動画化していましたので
比較をしてみます。目や顔の変形はありません。
動きの変化量を指定できない LUMA AI の Dream MACHINE ですが、
Leonardo.Ai とあまり差がないカメラワークに留まっています。
無償使用でのあまりに長い待ち時間には相応しない出来、と言えなくも
ありませんが、質が悪い訳ではありません。  

Kling AI です。
(^^;)(^^;)(^^;)…そんな中共のＴＶ時代劇の女帝みたいな振る舞いは
要りませんよ…(^^;)。これはやり過ぎというか女性像に国家観が
滲み出てしまってます。中共の女性の振る舞いらしい動きです。
日本女性でこの振る舞いは舞台上のファッションモデルくらい
でしょうか。まあそれも前世紀どまりで今は無いでしょうか。

すぐに（執筆当時は）再処理が出来る Kling AI ですからリトライしました。
こちらはなかなか可愛らしい仕上がりです。
周囲を見切る眼の動きの後、手を腰に置いて周囲を威嚇する動きの腕や
肩の筋肉の連動も見事で、感情表現的にも的確な動画化です。
感心してしまいました。

次はこの Stable Diffusion Web UI（AUTOMATIC 1111 版）による画
からの動画比較です。

Leonardo.Ai の動画化です。やはり表情の歪みが気になります。

Kling AI です。カメラワーク、背景、人物の動きとも自然で、一環と
いうか、要素全体の進行が統一されていると感じます。

次はこの Stable Diffusion Web UI（AUTOMATIC 1111 版）による画
からの動画比較です。支援するサイバー男子隊員が可愛そうにロボット
顔になってしまってる画です。

Leonardo.Ai の動画化です。表情の細部に静止画にはない劣化が見られ
ます。

あまりにカメラワークがいつも同じ単調な印象なので、「Motion Strength」
の値を「2」から「3」に上げてみましたが、やはり顔の変形が目立つ
だけでした。動きが地味でも「Motion Strength」設定は「2」止まりが
やはり無難です。

この作例は LUMA AI の Dream MACHINE でも動画化していましたので
比較をしてみます。Leonardo.Ai の動画と同じカメラワークですが、
目や顔の細部劣化はありません。

Kling AI です。
Relevance 側に0.65 から 0.85 までいろいろ Setting を調整して背景
キャラの予想外の動きを制御するのに苦労がありましたが（執筆当時は）
ただちにリトライが可能な Kling AI なので、むしろ大いに楽しめました。
（最後の結果に落ち着くまで日を跨ぎましたが、寝ている間に
66 Credits 復活でした。）

このサブキャラはメインキャラを背後から庇おうとしているにしても
襲い掛かられているにしても、メインキャラはその事態に無頓着
過ぎます。背景のクロマキー合成に失敗した特撮シーンのようです。

これなど背景の第 3 のキャラクタ登場での縮尺狂いが尋常でないものの、
メインキャラはややそれに反応してます(^^;)。

何か中国語っぽいテロップが出てますよ？？

ようやくメインキャラの目線の動きとサブキャラの動きに一貫した
統一状態を得られました。

このように比較をしていくと、もう Kling AI のレベルの動画生成は
Stable Diffusion Web UI でいろいろ調整して描いた「未来の情景や
人物」に「命を正しく注ぎ込む儀式」のように感じて来ました。

Stable Diffusion Web UI で苦吟しながら自身のイメージに生成画を
近づけて行く試行錯誤のほうが、よほど手数を多く必要とするにも
かかわらず、その成果を踏まえての半オートマチックな作業での
動画化へのトライは、更に1 つ上の次元の精神レベルの創作作業で
あるという奇妙な実感を否めません。

ご覧いただきありがとうございます。