Kling AIをどんどん使ってみる。(4)

この続きです。

この AI 描画ストーリー記事のために大量に Stable Diffusion Web UI
（AUTOMATIC 1111 版）で描かせた異星飛行体の中のボツ画を原画
にしました。

まだロゴが入れられていない時期に Leonardo.Ai で動画化してました。
大迫力です。

Kling AI の動画化です。物体の形状特性とは逆に動いてしまってます。
CivitAI への公開時には逆再生で仕上げるか、Leonaredo.Ai の動画を
採用するか判断します。
（後者はもしかしたら公開済かも….ああ既に両方公開してました。^^;）

次はこの Stable Diffusion Web UI（AUTOMATIC 1111 版）による画
からの動画比較です。背後の機体に描かれた文字が「現在の我々には
識別できない」ことが、Stabel Diffusion 3 のような「読める文字が
画に入る」より、未来のシーンであるという演出に逆に効果的である
とした一例でした。「未来の彼女たち」には読める文字なのです。

Leonardo.Ai による動画化です。表情の細部が潰れてしまっていて
残念です。Image to Image 処理も Image2Motion 処理も高精度の
CheckPoint ファイルを選択してもこの状態でした。

Kling AI での動画化です。
表情の潰れはありません。
不思議とどちらの動画も左拳に力を込めたポージングは変わりません
でした。

次はこの Stable Diffusion Web UI（AUTOMATIC 1111 版）による画
からの動画比較です。狭い宇宙船の中での男子宇宙飛行士を描いた
一連の画の中に何故か女子が登場した画でした。

Leonardo.Ai による動画化です。
目線の向こうには窓があるのでしょうか。

Kling AI による動画化です。
こちらは窓には一瞬目配りをした後、手元の計器を目で追う感じ
が自然っぽいです。

以下に続く赤ボディスーツのプロンプトによる画ですが、
CheckPoint ファイルに beautifulRealistic_v7.safetensors
を用いた時だけ、このような東洋人にロシア系が混じったような
華やかさ優先の描画が出ます。（プロンプトや設定は CivitAI で
ご確認できます。）

Leonardo.Ai による動画化です。まあ無難な手持ちカメラによる
クローズアップの表現です。

Kling AI です。
同様の表現ですが、髪の先が揺れたり、唇から微笑が消えて行く動きが
見て取れます。

お気に入りの CheckPoint ファイルの 1 つである
meichidarkMix_meichidarkV45.safetensors を使って
Stable Diffusion Web UI（AUTOMATIC 1111 版）で描かせた画です。

このような西洋人が恐らく美人画だと認識せず、東洋人だけが美人画
だと認識するような表情は、私の好みでもあり、そのような狭いニッチ
（隙間）の表現領域には、とことんこだわりたい思いがあります。

Leonardo.Ai による動画化です。
少し動きにモゾモゾ感があり、画の雰囲気には沿わない印象です。

Kling AI の動画化です。
髪のなびき方、人物とカメラワークの動きも自然な印象です。

これは同じプロンプトで、majicmixRealistic_v7.safetensors を使って
Stable Diffusion Web UI（AUTOMATIC 1111 版）で描かせた画です。

Leonardo.Ai による動画化です。
どうしたですかね。「Motion Strength」は「2」固定のままですが
やたらモゾモゾしますね。いつものようなシンプルなカメラワーク
による動きで必要十分なのでしたが….。

Kling AI です。やはりこういう仕上がりが良いですよね。

これも同じプロンプトで、majicmixRealistic_v7.safetensors を使って
Stable Diffusion Web UI（AUTOMATIC 1111 版）で描かせた画です。
この CheckPoint ファイルは人物画からメカ画まで幅広い描画に
的確な結果を出してくれます。

Leonardo.Ai による動画化です。これは特にモゾモゾ感もなく
動きもカメラワークも必要充分です。
縦構図だとロゴが大きくなるので、クロップ処理でのロゴ排除では
足が大きく削られてしまい残念感が出るかもしれません。

Kling AI です。
うわ。この素材感ったら(^^;)。
素材によっては体表との密着度にムラが出るのはリアルかも
しれませんが、そこまで追求は期待もしていませんでした…。
Leonardo.Ai の表現で必要充分かもしれません。
こちらはロゴが小さく対角線上にあるので構図に破綻なく
クロップ処理でのロゴ排除が出来そうです。

ちなみに前々から CheckPoint ファイルの作例記事などでも、
この赤ボディスーツを繰り返して描かせていた狙いは、サイバー
女子隊員の開拓最前線での硬い nano-suits 装甲の下に着用する
未来進化型（？）のエアリズム的スーツ（冷暖発汗全対応）の
イメージをオフタイムの設定で追ったものでした。

それを未来世界にあっても「女子は女子」（良い意味で、というか
それが「女子」という生物だと思います）で、装甲の下で自分しか
見えない胸元とか肩口とかを元来規則違反で安全準拠違反であっても、
おしゃれに自分だけのカスタマイズしようとする気質というものを
表そうとしたものであって「エロの追求」とか下卑な単純発想では
ありませんのでご理解のほどを。（当人は至って真面目）

設定上の「本来の部隊支給品の状態」はこんな感じで、それを彼女
たちは勝手にカスタマイズして、ささやかにおしゃれ気分を楽しんで
いるという設定なのでした。

勿論、サイバー男子隊員も同じ装備だという設定ですが、ロボット顔
が多発するので、あまり描かせていません。
（前言撤回ですか？って^^;。まあ男子は見えないところのおしゃれは
しない生物ではあります。）

設定の話ついでなのですが、描いている未来において、今は禁忌と
言われる優勢遺伝子操作がいつの間にか日常となり、見た目の美しさ
は特別なものでは無くなっている想定です。
それゆえ今と違って美しい女性が、ただそれだけでチヤホヤされる
社会では無くなり、宇宙開拓前線にも志願者が普通に登用されると
いう設定なので「過酷な開拓前線にこんな美人が配置されるのは
不自然では？」という横槍をあらかじめ排除する考えで描かせて
います。（まあ「描かせたい画の理想」が先にあっての後付けの
理由に過ぎませんが…。^^）

初期の代表作の一つ、NMKD Stable Diffusion GUI による描画
「木星の衛星カリストの水上都市」（少年時代に見た天体画の
再現）です。 

レタッチソフトでの中性灰色マスク処理まで発案しての、調整に苦吟
して得られた原画でした。Text to Image 処理と Image to Image 処理の
バランス調整という、一時期にはとことん作例に登用した手法の集大成
でした。（その工程は上掲の記事をご参照ください。）

Leonardo.Ai の動画化は、良い具合に視点が流れて行きますが、
縦構図の画ではロゴが大き過ぎて、クロップ排除では構図全体の
バランスが崩れそうです。

LUMA AI の Dream MACHINE でも動画化出来ていましたが….
原画で見えてなかった木星の上方が補完描画されず禿げ頭
状態です。これはお粗末…。

kling AI です。
えらく大層なものを前景に滑らせ込ませて来たものです….(^^;)。
都市景観とは質感が異なるので、戦艦でも入港したのでしょうか。
動画右下端の湾岸に原画にはない通行人（入港を見に来た家族連れ？）
の歩行が描き足されていました。地味ながら一番の驚きはそこに
ありました。

漠然と「動画化」などと呼ぶものの、旧来のアニメーション制作
の手数はかかるものの単純作業のイメージを引きづるからでしょうか、
静止画を描いた AI とはまた別の AI が静止画から意図を把握して
新たな描画をしているのだ、という本来当たり前ではあるその事実を
改めて感じさせる事例となりました。
（LUMA AI の"つるっぱげ木星"も逆に言えば「意図情報の不足」という
意味で、その理解に沿った仕上がりなのだとも言えます。）

動画変化量の設定を変えてリトライしました。
なんと2 シーンに分離しました。
過去のStable Diffusion Web UI（AUTOMATIC 1111 版）の SVD や
Tensol.Art のText to Video 処理を思い出します。
スローモーションを追加して前半だけを採用するのが無難ですが
結果的にそれでは Leonardo.Ai の動画が正解ということになります。
ロゴが小さい分、クロップでのロゴ排除での構図バランスの崩れは
少なくて済みそうではありますが。

後半も質感は高くスローモーションを付加して独立した動画に
仕上げても良さそうですし、何なら最良のタイミングでフレームから
静止画を切り出しても価値がある画のように感じます。
それは上掲記事に記した私の原体験から来る感覚なのでしょう。

「三つ児（三歳児）の魂、百まで」とは心底良くぞ言ったものです。
改めて偉大なる天体画家 Chesley Bonestell に最大限の敬意を贈ります。

これは beautifulRealistic_v7.safetensors を使って
Stable Diffusion Web UI（AUTOMATIC 1111 版）で描かせた画です。
beautifulRealistic シリーズの CheckPoint ファイルは v7 になって
majicmixRealistic シリーズの描写に近くなりました。
人物画に東洋系の印象が薄まり、メカ画など広い応用が利く印象です。

Leonardo.Ai による動画化です。
良いカメラワークですが、クロップ処理でロゴ排除する場合、その
大きさの影響が顕著で、構図全体のバランスは悪くなりそうです。

これも LUMA AI の Dream MACHINE でも動画化出来ていました。
他の2 者のロゴが右下端にあるので、クロップでのロゴ排除で
人物の足元が切れてしまうのに対して、これはロゴが右上端に
あるので、その弊害がありません。

Kling AI です。ロゴカットの問題はあるものの、人物の動きの揺らぎ
に合わせたダイナミックなカメラワークには感心します。

これは kanpiromix_v20.safetensors を使って
Stable Diffusion Web UI（AUTOMATIC 1111 版）で描かせた画です。
本来、人物画に適した CheckPoint ファイルですが、このような描画
にも独特の味わいが出るようです。

Leonardo.Ai による動画化です。申し分ない仕上がりに思えます。

Kling AI の動画化です。
静止画で見えなかった海岸線の新たな補完が見事です。

メカ画に圧倒的な個性を持ち、人物画にもアクの強い癖が特徴的な
hellomecha_V10Beta.safetensors を使って
Stable Diffusion Web UI（AUTOMATIC 1111 版）で描かせた画です。

Leonardo.Ai による動画化です。やや細部の解像感が緩い軟調な画が
惜しいですが、雰囲気は悪くないです。

Kling AI の動画化です。
これはあまりに奇妙奇天烈な仕上がりと言えましょう。
惑星開発拠点の廃墟での爆発が何と背景の夕陽を吹っ飛ばしてます。
夕陽だとは解釈されなかったのでしょうか。新たに原画に無かった
月のような対象が補完されています。

「Setting」を「Relevance」側に 0.9 まで倒してリトライしましたが
これもまた派手な仕上がりです。夕陽が吹っ飛ばされるような奇妙は
無くなりましたが、意図を超えて騒々しいです。

どうしても騒がしいシーンになってしまうようです。
私の意図は「廃棄された惑星の開発拠点の哀愁」なので、Leonardo.Ai
の地味な動画化が実は正解だと感じます。

静止画の描画の際に繰り返して込めた意図を、再び動画化において
意図に沿わせる試行錯誤というものは、かつての動画制作では考えも
しなかった葛藤と言えます。
ChatGPT で期待する回答を望んで得られなかった後に入力情報を
試行錯誤する作業とは次元が違う質の高さを感じざるを得ません。
期待する回答を得られる満足度より、創造した成果が改めて情緒を
揺さぶる度合のほうが遥かに大きいからです。

短く言えば、面白過ぎます(^^)。
この年齢にはなりましたが、未来の入り口が大きく口を開けたこの時代
に自身が生きている幸福感は、1966 年あたりから1970 年頃の「未来に
向かって無限に発展する」という実感を再び、といったそのものです。

---

LUMA AI の Dream MACHINE は最後の描画リクエストからもう4 日、
結果が返って来ません。（2024/08/09 時点）

Kling AI も描画99 %完了まで進んだ後、何時間も描画完了にならない
ほど処理が遅くなって来ました。（同上）
6 動画分の生成を1 日で使い切ることは到底出来なくなりました。

Kling AI も LUMA AI の Dream MACHINE の轍を踏むようです。
その裏でたまには Kling AI と拮抗するレベルの動画化を実現しつつも、
Leonardo.Ai が「数分で動画化完了」を今もキープ出来ているのは
改めて評価されて良いことだと考えます。

ロゴは大きいですけどね。せいぜい横構図で動画化を心がけます(^^)。

….などと記しているうちに、もう目新しくもない筈の Leonardo.Ai の
Image2Motion の速度が今頃になって急速に遅くなって来ています。
Kling AI や LUMA AI の Dream MACHINE が使えないと踏んだユーザーが
私のように再び Leonardo.Ai になだれ込んで来ているのでしょうか。

もうすぐ 3600 秒（1 時間）を超えますが、それでも結果が返らないと
いう事態は今まで見たことがありません。（2024/08/15（木）未明時点）

あらら…挙句の果てに「Failed Generation」ですか….。
完全に能力パンク状態ですかね…？

credits が25 消費されていたので、Web ブラウザの表示更新をかけたら、
無事に結果は得られていましたもののの…。 

つくづくクラウド系の動画生成サービスの事前想定外の能力オーバー
フローの事態に直面するにつけ、どこかにローカル描画で Leonardo.Ai
程度で良いので（それ以上はいくらでも歓迎）の静止画 ⇒ 動画生成
モジュールの提供は無いものか….。情報共有を切にお待ちします(^^;)。

（追記：同日）

平日日中は 50 秒程度で動画生成されています。（2024/08/15（木）現在）
欧米が就寝時間帯に処理集中が軽減されるのか、上述の遅延状態が
特別な処理集中だったのかは様子見が必要です。

ご覧いただきありがとうございます。