動画生成の本格化は一旦断念。
先の記事で自室にGPU 専用VRAMを拡張できる大型のデスクトップPC
を置く空間的、資金的なゆとりもない、と記しました。
次に考えたのが、今のクラウド描画サービスの機能をうまくつないで
ローカルPC のStable Diffusion Web UI で生成させた人物画を
動画化出来ないか、ということでした。
が、結局断念しました。
現状の質での動画化に留め、メインは静止画の質を追求することに
立ち戻ります。その経過を以下に記しました。
まず考えたのは、Stable Diffusion Web UI （AUTOMATIC1111 版）で
生成させた人物画を Leonardo.Ai に最近新設されたImage to Image
機能で取り込み、原画のニュアンスが崩れなかったら、それを元に
動画化すればよい、という単純明快な流れでした。
ところが、その機能をスタートさせるべく、右のボタンを押しましたら…。
Image to Image 機能は有料でしたか…。
しかも最小プランでそれが有効になるかも良く分かりません。
【 追記：この記事を執筆時点ではそのように判断していましたが、
後日、それは誤解と判明。別途後報します。】
大型高速デスクトップPC を買うより安い、とは言えますが、今のレートで
1700 円 / 月を支払い続ける（年間払いならもう少し安い）価値は
感じられません。
既に先人様の中には、既にこの機能を使って他の描画サービスからの
静止画を動画化されていますが、期待通りの動きなどが為されて
いないと評されていましたから。
Image to Image 機能を使わない時点での私の直近記事での静止画からの
動画も、カメラ構図が流れる（パン）とかズームのアップダウンとか、
単純な足踏み程度の動きとかに留まり、プロンプトで指定した延長上
の連続したアクションをとらせるなどは難しそうでした。
まあ、この分野のサービスの進化速度を考えましたら、ControlNet 連動
などもすぐに対応されるのかもしれませんので、そうなるとアニメータ
か映画の監督のような気分（だけでなく手間と苦労）も味わえる時代に
なるのかもしれませんが、それはそれで私自身が望む世界からは大きく
乖離して行く印象も否めません。
私は幼少時代に天体画家 Chesley Bonestell の宇宙画を眺めて空想を
したものでした。
現代とは異なり、大天文台の写真でも地上待機の揺らぎのために
不鮮明な惑星像しか得られず、人工天体からの接近画像も電送写真
丸出しの質感の悪いものしか無かった時代、宇宙旅行を空想する
唯一のものがそれでした。
そのような画を描き、改めて思いをはせる…それが理想だったでは
ないか、ということです。その時間確保のために、少年時代から長年
続けてきた惑星撮影も一旦休業としたほどの衝動だった筈でした。
動画化が容易となり、プロンプトでアクションまで指定出来る時代が
すぐにやって来ても、設定や脚本をどうするか、とか新たな面倒と
苦労が発生することは避けられません。
（ここをChatGPT などのAI に任せるとかになると、もう誰が何を
やっているか分かりません。）
一応、Tensol.Art でも先日の初回使用での衝撃の延長でいろいろ
トライはしました。
こちらではLeonardo.Ai のように生成された静止画からの動画生成
は未対応です。（限定画数 / 日を無償公開される将来に期待します。）
なのでまずは、Img2Img 処理でローカルPC からの原画と使った
プロンプトを用いて、沢山用意されたモデル（CheckPoint ）や
LoRA ファイルを変えながら試してみて、近いニュアンスを出す組合せ
を見つけたら、その設定でアニメート機能を使おうとしました。
Stable Diffusion XL(SDXL)1.0 では全然ダメで…。
LucidDream Realistic - v1.0 が最も近い感じですかね…。
似て非なる感じと彩度がやや落ちるのに目を瞑るとして。
アニメート機能で同じことを実施しましたら….。
もう全く原画の印象がありません。
リアルな最前線の雰囲気ではありますが、求めているものはこれでは
ありません。CheckPoint やLoRA、Motion LoRA の組み合わせも
いろいろ試しましたが、このGIF 出力が最高値の結果となりました。
（このGIF は繰り返し再生が為されるようで、記事での公開には
有難いです。）
他には初回利用時の直近記事でも紹介した通り、やや露出過剰気味の
ものも背景描写のプロンプトを整理していると出て来ました。
（整理しないとすぐに顔がロボットになってしまいます。）
これもまた意図とは違った結果になってしまっています。
しかしまあどちらも、何かには使える鑑賞水準の動画にはなっており、
ローカルPC からは得られないレベルではあることは間違いないです。
Leonardo.Ai の静止画からの動画をメカ画、背景説明に使い、
こちらの動画を主に人物描写に使う（1 本の動画に纏める）ことは
有意義そうに思えて来ました。
このような経緯から、ローカルPC では静止画の詳細を追求しつつ、
動画に関しては、そのローカル描画プロンプトをTensol.Art や
Leonardo.Ai に持ち込んでの動画化で楽しめる範囲を利用するという
以前から想定していたバランスに留めることにしました。
ご覧いただきありがとうございます。
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか？