続・Cog Studio の暴走を止める。【決定版】
この記事を公開した、その日のうちにこの記事を書いています。
先の記事に内容を含めても良かったのですが、執筆を終えて
1 日おきの公開順番を待っているうちに以下の pyramidflow 記事の
割り込み（そこで CogStudio 環境の破壊と再構築も発生）を
速報性を優先して先に公開せざるを得なかった経緯もあって、
記事内容に一層の変更をかけると文意全体がおかしくなると考え、
別記事として纏めることにしました。
今回、追加で考えた「暴走への安定」方法は、CogStudio に「静止画の
意図を可能な限り伝え理解させる」というものです。
以前は簡単に何の画であるかを伝えればよいかと考えていましたが
「Prompt (Less than 200 Words. The more detailed the better.)」と
入力欄にもある通り、「詳しければより望ましい」とのことで
考えを改めました。
200 単語以内という制限はありますが、CogStudio の image-to-video
の Prompt 欄に静止画生成時のプロンプトをできれば全て入力します。
（CogStudio にインストールしていない LoRA ファイル指定部分は除く）
冒頭 URL の記事および次の記事などで、どうにも動いてくれなかった題材が
いくつかあったので、この新しい方法で試してみました。
Prompt に、
masterpiece oil painting, landscape of a futuristic sci-fi moon base, gleaming metals and ceramics, domes, cratered environment, dusty, thin haze, a large planet dominating the skyline,
を入力して、「Guidance Scale」「Strength」は省略値のままとしました。
今までどのようにパラメタの調整をしても動かなかった題材が動きました。
過剰な暴走や破綻もありません。
過去記事では掲載の機会が無かったらしいこの題材（HailuoAI などでの
作例はある）も動いています。
動きが地味だったものや不可解な動きだったこれらの題材も必要充分
に動いています。これらの異星開拓基地画は何故か特に CogStudio が
苦手とした題材でした。
サイバー女子隊員画は、逆にもっと動いても良いと思うほどに安定して
います。動きが大きくないためか 8 fps でもカタカタ感も感じません。
Prompt に、
night, outdoor, medium shot,wearing gray and black hard metal-suits, smiles, (very short bob cut hair), wide hip, large breasts, perfect slender young girl body, perfectly glossy skin ,25 yo mature girl,picture of a vivid, masterpiece,perfect lighting, asian beauty, masterpiece oil painting, landscape of a futuristic sci-fi moon base, gleaming metals and ceramics, cratered environment, dusty, thin haze, a large unknown dark striped planet dominating the skyline,
を入力して「Guidance Scale」「Strength」は省略値のままとしました。
このように動きがやや単純に感じる場合は、以前のパラメタによる
制御と併用するのも良いかもしれません。
これは Prompt 指定なし、「Guidance Scale」＝「10」、
「Strength」＝「0.4」での動画化です。
今回の適用効果は Tensol.Art 上の CogVideoX でも確認出来ました。
Tensol.Art 上では動画生成パラメタは触ることが出来ないため、
今回の手法が唯一の暴走 / 破綻抑止方法となり実に有効です。
CogVideoX 記事の URL
一方、うまく行きませんのが、CogStudio に「静止画の意図を可能な
限り伝え理解させる」というのが今回の手法でしたので、静止画生成時
に具体的な内容をプロンプトで与えず、AI に考えさせた「（第2の）
magic Prompt」による題材です。
静止画描画 AI が考えた内容と改めて CogStudio が考える内容が一致
することはないでしょうから「静止画の意図を理解補強」する方向には
作用しないのでしょう。
前回全く動かなかった題材はやはり今回も動かないようです。
Prompt に、
(((The most amazing scene ever created)))+++, (((Fantasy art)))+++, (((Sci-Fi themes)))+++, (((Technological utopia)))+++, (((Another Planet)))+++, (((Timeless dimensions)))+++, (((Energy radiating everywhere, a Masterpiece,)))+++,
を入力して「Guidance Scale」「Strength」はまず省略値、その後、
「Strength」を最大の 0.9 に上げたり 5 回ほど実行しましたが結果は
変わりませんでした。全く動きません。
ダメ元で Prompt を平文化しましたら….。
The most amazing scene ever created , Fantasy art , Sci-Fi themes , Technological utopia , Another Planet , Timeless dimensions , Energy radiating everywhere , a Masterpiece,
うわうわ….ほんのちょっとだけ水平回転しました。
左下端の前景ほど動きが速いです。初めて動きました。
元から動いていた題材は同じプロンプトでもやはり動きます。
元々、何故か得意分野だった宇宙ステーション画は一層問題なく
回っております(^^)。
Prompt に、
masterpiece oil painting, (single, only one), (extremely detailed, Space station like a wheel in orbit in space, giant planet background), ((( rotation axis is perpendicular to the screen, with the axis of rotation pointing toward the earth.)))+++, (dynamic lighting), sharp, (4k, 8k, extreme detail, ultra quality, HD, high definition, HDR, high dynamic range, octane render),
を入力して「Guidance Scale」「Strength」は省略値のままとしました。
「地味ながら確実」の次元では、これまでの弱点もほぼ解消して完璧の
動画生成ツールとなりました。
8 fps 出力と小さな動画画面に不満足であれば、生成した MP4 を
Dain-APP にかけることで、32fps、768p 相当の滑らかな動画に
仕立てることも出来ます。
あと結果は公開しませんが、この方式の暴走抑止は特に NSFW 表現に
有効です。この方式以前のパラメタ調整だけでは、男女のからみの
ような静止画は、その仕上がった原画からの情報だけでは、どの腕と
どの脚がどの頭とつながって連携しているのかなどの解析が難しいのだ
と推測されます。動きを抑えても表情が潰れるどころか、顔や腕が
吹き飛んだりとにかくスプラッターレベルの破綻が発生して（なので
逆に試行錯誤の題材としてスルー出来ませんでした。真面目な話。）
それらを抑えることは今までほぼ無理でした。
それがこの方式（静止画描画のプロンプトをそのまま全部与える）を
用いると驚くほどの暴走抑止が可能となり「しっかり躍動 (?) する」
動画を得られます。
しかもそれは CogStudio にとどまらず、Tensol.Art の CogVideoX でも
同様でした。この点は表現拡張の観点での数多くの題材の一つとして
扱っただけなので当方は深追いしませんが、きっと（実は最も？^^;）
ご参考になる方々も多いかと考えまして、あえて記事内容に含め
ました。
ご覧いただきありがとうございます。
（2024/12/08 執筆）