見出し画像

超初心者向けcomfyUI備忘録

永久恋愛ととと

はじめに

この記事は筆者がcomfyUIを初めてから4日後に書いている。
つまり4日でもある程度のやりたいことは出来るようになるってことだ。
とっつきにくさしかないcomfyUIだが、落ち着いてやればどうにかなるっぽい。
多分。

筆者がcomfyUIを始めることになったきっかけ

852話さんの作ったゲーム「曖昧夢 - AIｍAIｍ-」が好きすぎる。

このゲームはにじジャーニーで作った画像を様々な方法でアニメーションして動画にしているとのこと。
その様々な方法のひとつにcomfyUIが含まれている。
じゃあやるしかなくない？　comfyUI。
以前から興味があったので思い切ってやることに。

目標

・最終的には曖昧夢みたいなゲームを作る

そのために
・1枚の絵をアニメーションさせる
・2枚の絵を中割アニメーションさせる

おまけとして
・いつもautomatic1111でやってることをcomfyUIで再現する
・なんかAIで動いたり変化する可愛いコル音イムが見たい。

私のコル音イム（自作手描き絵）。可愛いね。

環境構築

とにかくスペックの低いパソコンを使用しているため、ローカル環境はどうしても諦めざるを得ない。
Google ColabでcomfyUIを始めることに。

次にGoogle ColabでのComfyUI導入方法ですが、上にも貼ったように最初はComfyUIの公式Colabノートブックを利用することを検討していましたが、後述するComfyUI ManagerというComfyUIの拡張機能を管理するための拡張機能のリポジトリで提供されているColabノートブックを利用するほうがスムーズに始められることに気づきました。

2024年のComfyUI、完全入門｜サファ (note.com)

ってことでこちらの記事のURLからcolabノートブックを使うことに。
後述するけどComfyUI Managerがないとマジで話にならないんですよね。

あとGoogleドライブとは連携します。毎回色々ダウンロードするのは面倒なので。
んでまぁGoogleドライブにも容量課金しちゃったよね……。仕方ないよね……。

今回主に使用するモデルは「LittleStepMix_A」
1.5系モデルで、NAIリークを使用していない商業利用も可な安全なモデル。
塗りも綺麗だし元の絵の個性を潰さない、無難に良いモデルである。

好きなLoRA（flat2、hyper detailer、他好きな絵柄Lora、自作Loraなど）を/content/drive/MyDrive/ComfyUI/models/lorasに入れておく。
やはり1.5系からは離れられない……。

/content/drive/MyDrive/ComfyUI/models/vaeに「vae-ft-mse-840000-ema-pruned.safetensors」を入れておく。
大体これ入れておけばどうにかなる。

controlnetも一通りなんとかして入れよう。
場所は /content/drive/MyDrive/ComfyUI/models/controlnet

4日前の私に言いたいこと

comfyUIを無事起動して、とにかくやりたいと思ったことに近いものの人様のワークフローを片っ端から探してダウンロードして放り込んで、ERRORを出して、ComfyUI Managerで色々インストールする作業から始まる。

真ん中の上から二番目を押す

「install Missing Customu Nodes」を押して出てきたもの片っ端からinstallする。
それが終わればだいぶ楽だから。頑張れ。

あとは何もない画面でダブルクリックすると検索機能が出てくる。
あとは線引っ張ると候補とか出てくる。
そういうのでなんとかする。なんとかして。

1枚の絵をアニメーションする

いくつか方法がある。
なお必要な動画モデルはanimatediff以外は「models/checkpoints」に放り込んでおけばどうにかなる説ある。

Stable Video

初歩的な方法。簡単。こちらはプロンプトを入れることが出来ない。完全にAIのお任せ。

ぐねぐね動く。面白い。

DynamiCrafter

プロンプトを入れることで動きをコントロールできる。

ワークフローはこちら↓


すげー微々たる動き。プロンプトを調整することでもっと変化が出る。


animatediff

automatic1111でやる分には絵を載せるだけで良さそうなのだが、comfyUIでやる時はcontrolnetを通す必要があるようだ。

花が舞うコル音イム。かわいいね。

↑1枚の絵をアニメするやつ、ざっくり自作したもの載せとくね
controlnetのどれが良いかは自分で色々試してほしい。
とりあえずtileが安定だろか。もちろんcontrolnetの重ね掛けもできる。

2枚の絵を中割アニメーションさせる

animatediff

これに関してはこの方のnote見ればOK。ワークフローも載ってる。感謝。

↓こっちの記事でもいけると言えばいける。

公式女体化するコル音イム。かわいい。

DynamiCrafter


ワークフロー見よう見まねで作ったけどコレ中割じゃなかったね。

圧倒的コレジャナイ感
同じ画像を二枚入れたら新しい概念を提示してきたやつ。お前それ武器になるんか……。

↑見よう見まねで作ったワークフロー。

書き込み量増加i2i

見よう見まねで自作。automatic1111でいつもやってること。

かわいい

このワークフローを改造して
ラフから線画仕上げi2i、ラフからカラー着色i2iも作れる。作れた。

こういう感じ。

入れるLoRAとcontrolnet変えるだけの簡単なお仕事。

そんなわけで

comfyUI初めて4日目の私、m2mに挑戦するも、気になる配布ワークフローを読み込んでもComfyUI Managerからinstallに悉く失敗して原因を突き止められずにいる。わからん。なんでインストール失敗するの。原因不明すぎる。

んでm2mワークフロー自作するとして、とりあえずそれっぽい形になったけど、設定のミスですぐERRORを吐き、成功率は低い。
controlnetがうまくいく時といかない時がある。もうわからん。

何が正しいのかわかんない。
チカチカ
かわいい
かわいいね

おわりに

comfyUIなんもわからん。
かわいいコル音イムがたくさん見れたから満足です。
いや技術的にやりたいことがやれることがわかったならゲーム作れよ。
おわり。

いいなと思ったら応援しよう！