Leonardo.Ai がきっかけでローカルPC での描画でも動画化にこだわるようになり....。(2/2)

直近記事でLeonardo.Ai の簡易動画生成機能とローカルPC での
Stable Diffusion Web UI のAnimateDiff による動画との比較を
始めました。

タッチが互いに折り合えないほど違っているので、シーン別に
適材適所で使う静止画のようには、うまく行かない感じが
あります。

その一方、Stable Diffusion Web UI のAnimateDiff による動画では
動画の元となる静止画プロンプトに与える静止画の大きさは
GeForce RTX4060 搭載のノートPC であっても、512 pixels 正方、
生成コマも48 コマ程度が限界です。
（GPU 用のVRAM が8GB では不足ですぐにメモリ不足による
異常終了になってしまいます。）

秒あたりのコマ数を4 ～10 で調整して12 秒から4 秒程度の
動画を得るのですが、必ず何故か1 動画あたり2 シーンで構成
されてしまい、1つのキャラクタが動くシーンは動画サイズの
半分になってしまう現象にも困っています。
1 動画あたり1 シーンに留める方法をご存知の方はぜひご教示ください。

（1 分20 秒。全画面表示で、解像度設定は1080p [HD] でご覧ください。）

その短い時間の範囲で、静止画に与えるプロンプトで動きを
与えると、その通りに動く（歩く、踊る、NSFW な領域まで）
余地はありますが、Leonardo.Ai の動画では、動きをキャラクタ
に与えられることはあまり無さそう（構図が動くことを優先
して、たまに歩いたりの指定が効くことがある程度）

あと、静止画では2D 系のCheckPoint のほうがプロンプトに
忠実に描く傾向が強いようで、最近ではまず2D、2.5D 系のCheckPoint 
で描画して、同時にRefiner を使ってリアル描画系のCheckPoint で
仕上げることを基本とするようにして来ましたが
さらにそこからAnimateDiff を使っての動画は無理でした。
（メモリ不足で128pixels 正方でも、まともな描画が出来ません）

2.5D 系の starlike_v20.safetensors の描画にリアル系の meichidarkMix_meichidarkV45.safetensors
を Refiner で 0.2 (後者が80 %)ブレンドさせたStable Diffusion GUI の人物画

1 人の漫画家が作品によって、全く違うタッチで描いたら、
鑑賞側がきっと戸惑ってしまうでしょう。なので、静止画
のように適材適所で使えたら理想なのでしたが…。

他方、mage.Space で描いた不気味系の静止画プロンプト
をLeonardo.Ai に持ち込むと、まずは完全な再現は無いのですが、
たまにその不完全さが新たな予想外の不気味を産むことがあります。

例えば、このmage.Space の無償SDXL で描画した「AI 描画ストーリー
002：惑星L03系衛星L03-002開拓基地壊滅。」に登場した「存在」
を描かせたプロンプトをLeonardo.Ai で描画させた静止画のいくつか
から動画化しましたら…。

mage.Space の無償SDXL で描画したAI描画ストーリー002 に登場の「存在」

次の動画のようにLeonardo.Ai の動画は独特の味わいを出すことが
あります。
（1 分12 秒。全画面表示で、解像度設定は1080p [HD] でご覧ください。）

想定外の不気味さが出る、ということは裏を返せば自身の意図から
離れてAI が勝手に創作を進めてしまっているということではあるか
とは思いますが、創作側と鑑賞側の入り混じった立場というのも
他の創作ではなかなか得られない味わいかと考え直しました。

元々、静止画の詳細を詰めて行くことに比べて、不確定要素が
大きい動画生成には、あまり興味を持っておらず、静止画描画
には今のローカルPC の性能で必要充分だと満足していたのが、
Leonardo.Ai に簡易動画生成機能が追加されたことを契機に
今まで感じることが無かった不充足感を感じるようになって
しまいました…。

でもGPU のVRAM を増設出来る高価なテスクトップPC を自室に
置く空間も全く残っておらず、資金もゆとりはありません。

むむむ….。

ご覧いただきありがとうございます。