【続】pyramidflow 環境構築の最後のあがき。【RTX4060 GPU VRAM 8 GB で動いた！】
RTX4060（GPU VRAM 8 GB）環境では、pinokioからの起動よりは軽いと
期待した ComfyUI からの起動でも実行時にメモリ不足で終わり、
pyramidflow を利用するには当方の場合は、Tensol.Art の pyramid-flow-
miniflux （768p）しかないのか、と諦めていたところ….。
先の記事の最後で SD3 版と miniflux 版の共存・切り替えに関して
「子育てはるぱぱ」様に最後のお尋ねをしたところ、夜中の 02 時過ぎ
にネット記事 1 記事分に充分相応する図解つきの HTML メールを
いただきました。（この歳になってサンタクロースからのプレゼントを
貰った気分になれるとは思ってもみませんでした。いくら感謝しても
足りません。本当にありがとうございました。）
内容は当時の記事からは現在のネット上の関連環境がエンハンスされて
しまっていて、それを現在環境にあわせて補正してくださったものでした。
早速、2024/12/25（水）の早朝にお礼の返信を出した後、その作業に
かかりました。
まず「ComfyUI」フォルダ下の「pyramidflow2」フォルダに
git コマンドで生成させた miniflux 版は削除して、「pyramidflow」
サブフォルダの中で再び生成させました。
「pyramidflow」サブフォルダの下に「pyramid-flow-SD3」サブフォルダ
と「pyramid-flow-miniflux」サブフォルダがきちんと分離して共存する
ようになりました。
次にテキストの中身の「SD3」を 「miniflux 」に置き換えた
「python snapshot_dl.py」を忘れずに実行しました。
【ん？ 一か所、「sd3」を修正漏れがある？
記事執筆後の校正中に気づきました。その後の推移を見守ります。】
処理が無事スタートしました。
サンプルフローについては、やはり記事ご執筆当時の SD3 版から miniflux 版
に更新が為されていて、それをダウンロードして ComfyUI 画面にドラッグ
ドロップしただけでは、ノードやその中の設定も大きく変わっているとの
ことでした。
そこで御指南通り、
https://huggingface.co/Kijai/pyramid-flow-comfy/tree/main
から各modelのダウンロードをしました。
pyramid_flow_miniflux_768_bf16.safetensors → ComfyUI\models\diffusion_models
pyramid_flow_vae_bf16.safetensors → ComfyUI\models\vae
に入れます。
Clipについては「https://harupapa.jp/748.html」の記事に詳細があるとの
ことで → ComfyUI\models\clip に入れました。
ComfyUI 画面中の「PyramidFlow Model Loader」ノードの「model」と
「PyramidFlow VAE Loader」ノードの「vae」をダウンロードしたもの
に置き変えました。
記事ご執筆時点から現在までの変更点を吸収する手順は上記で完了と
なりました。
pyramid-flow-sd3 と pyramid-flow-miniflux の共存または切り替えについては
現時点でもう SD3 版はサポートしていないみたいなので、今回の UPDATE
によって SD3 版は使えないかもとのことでしたが、未確認とのことです。
本来は ComfyUI 画面中の「PyramidFlow Model Loader」の「model」の
項目で、SD3 と FLUX で読み込ませる model を切り替えることで共存
できるようになっていたとのことでした。
「miniflux 版では 7 GB VRAM で実行できる」とのことです。
ならば、まだ諦めてはいけません。
御指南頂いた内容は全て反映しました。改めて実行しました。
やはりメモリ不足エラーで終了しました。
pyramid_flow_miniflux_768_bf16.safetensors は 768p 動画出力用ならば
まずはもう少し小さい規模ではどうなのか、と（768p だからこその
動画品質だとは承知であるものの）、pyramid_flow_miniflux_bf16_v2.safetensors に入れ替えてみました。
（ファイルサイズは同じ 3.8 GB だったので意味はないかもしれません）
同時に Clip ファイルの t5xxl_fp16.safetensors を t5xxl_fp8_e4m3fn.safetensors に ComfyUI 画面で入れ替えました。
こちらはサイズが 9.5GB から 4.7 GB なので効果があるかもしれません。
再実行しました。処理が初めて画面右半分の「#58 pyramidFlowWrapper」
まで進み、進行状況のバーグラフも左から右に動いています。
で、出ました….。動いてます！！
Output サブフォルダに png ファイルとともに出力された mp4 ファイル
（640 × 384 pixels , 24fps ）を Adobe Express で GIF 化したものを貼り
付けます。
GIF 化に伴うカタカタ感はあるかと思いますので、元の mp4 も貼り付けて
おきます。
で、その後、困ったのが、一度動画生成完了以後、画面最下部に あった
青い「実行」ボタンが消えてしまって、ComfyUI の再起動や OS 全体
の再起動をしても消えたボタンが戻って来ません。
できれば同じサイズの pyramid_flow_miniflux_768_bf16.safetensors
でも再び試してみたいものの、現状リランの方法が分からず閉口して
います。
再び「子育てはるぱぱ」様に相談してみました。（上掲が最後と
言っていたにも関わらず。）
左下の歯車マークの設定からの設定の御指南に、「左下に歯車マークは
ないが」と思いましたら、処理ウインドウ全体がいつの間にか下に
下がってしまっていたのでした。当方のお粗末に更にお手間をとって
頂き恐縮でした。
MSI 社 PC の仕様か Windows11 の仕様かウインドウを画面上面に接すると
上方から何かメニューが下りて来るので、いつも少し上方を空けて使って
いたのです。処理ウインドウを正しく持ち上げましたら、下から実行ボタン
が出て来ました。それまで ComfyUI 画面を縮小表示しても出てこなかった
実行ボタンがしっかりありました。OS の再起動をしても実行ボタンが
隠れたウインドウ位置が保持されるのは、全く想定外でした。
それで pyramid_flow_miniflux_768_bf16.safetensors での動画生成も
してみました。
やはりメモリ不足ギリギリなのか、スタートは人物画なのですがその後
不可解でキラキラ綺麗な（？）動画が生成されました。
Adobe Express で GIF 化したものを貼り付けます。
当方環境では pyramid_flow_miniflux_bf16_v2.safetensors での使用を
基本とします。（再度実行でも動画生成は安定して成功しています。）
画質は KlingAI の Kling 1.6 Standard モードに匹敵 していますので、
充分満足出来る仕上がりです。
KlingAI 開発チームの参画もあったと言われる pyramidflow ですが
KlingAI のような「要らない演出」もなく素直な動画化が魅力だと
今のところは感じました。
pinokio - CogStudio の 8 fps 動画と一線を画する印象です。
これがローカル PC で動作するようになったのは革命的です。
（pinokio - CogStudio ＋ DainAPP によるサイズ拡大と 32 fps 動画には
依然価値はあると考えますが、手間はかかります。）
他のリソースで低容量のものに置き換えが可能でしたら、768p 動画も
可能になるかもしれません。ギリギリでメモリ不足エラーにならないと
いう感じなので、望みを今後につなぎます。
動作環境の pinokio がリソースを食い過ぎて、あとたった 80MB の
GPU VRAM が不足したなら、軽そうな ComfyUI ではどうだ、という
執念はついに報われました。RTX4060 GPU VRAM 8 GB でも pyramidflow
は動きました。
これでもう RTX4090 機や RTX4080 機の広告を見ては溜息をつく
毎日から解放されました。手持ちの RTX4060 機で充分なのでした。
24 fps 動画生成も FLUX.1 静止画描画同様、最初は全く無理だと
感じていた壁だったのが、今では乗り越えられました。
これで 2025/01/01 以降に考えていた Tensol.Art への有償クレジット
購入は当面棚上げとしました。 Tensol.Art では 768p 動画のよう
ですが、画面サイズは同じ 640 × 384 pixels とのことですし、動画
生成の変化量調整などのパラメタには触れられないようですから。
pyramidflow が長らくローカル PC で動かなかったため、その代替手段
の探究や環境構築リベンジを纏めて公開待ちをしていた記事が沢山
（恐らく 20 記事弱）あったので、この期待以上の結果に大慌てで、
公開記事の待ち順序を入れ替えたり内容を一部修正したり「嬉しい悲鳴」
の作業が、この記事の公開までに大量発生しましたが、どうにか 1 記事
も無駄にせずに済みました。
既に全てこの記事の前に公開し終えたたのでしたが、うまく記事間の
脈絡がつながっていますでしょうか….(^^;)。
さて、次の記事からは一旦、pyramidflow から話題は離れまして公開待ち
の別の話題群を順次公開して行き、その間に pyramidflow のチューニング
などをさらに試行錯誤しておこうと考えます。
（実はチューニング上の不完全燃焼気分の記事が本記事に続く予定でしたが
その記事公開順序の入替の弊害で、それらの記事中に未公開記事の原画群
が大量に動画化されていたのに後で気づき、先にそれら原画群の記事を
公開することにしました。）
ご覧いただきありがとうございます。
（2024/12/25 執筆）