Omost x ComfyUI x Dolphin!!!(2024/6/5版)
この表題を見て意味がわかる方は叡智な事がお好きな方だと思われます。
それはさておき、先日公開されたOmostですが、comfyuiノードが出ているので試してみた話というです。
このノード自体がかなり最近のものなので、ここの記載と変わっている所が出てくると思いますがご了承ください。記事書いていたら内容が変わってたレベルでしたので。。
6/5現在は、「install via GitURL」で、下記のURLを入れてインストールする感じでした。
このOmostは私自身、興味を持っていたのですが、最初の方に上がっているllama3, phi3とかみて、検閲ありかと放置してました。
しかし、huggingfaceで見ると、dolphinもある！！
illyasvielさん、神すぎる！！
Githubのページの下の方にもそのような記載がありました。
ここまで読み進める人だけたどり着ける。。。
普通?はLLMが公開される場合は無検閲は出なくて、有志が後追いパターンかと思い、それまでのんびり待ちかなと思ってたところのまさかの展開でした。
という事で試した内容を記事にしました。
ワークフローを貼っておきます。
都合により、後半部分は最初からミュートしています。
最初に、Stable matrixで実行しようとすると、エラーで動きませんでした。
仮想環境をアクチベートして、以下のものをインストールしたところさどうしました。
pip install bitsandbytes
基本構成は以下です。
以下はGithubにあった画像を拝借したものです。
基本構成①：プロンプト作成部
Omost LLM loader
Omost LLM chat
show any
基本構成②：画像生成部
Omist canvas render
preview image
Omost load canvas conditioning
Omost layout Condでポジティブプロンプト
あとは通常生成フロー
ポニー系だと、品質系プロンプトを追加すれば良い仕様
これは後半に合流させる感じになると思われます。
このgithubサイトにありますが、元々のと多少仕様を変えているとの事です。
また、llmが遅いため時間がかかるとの事。
4090で5分とか書いてあります。
ただ、4080で試してみたところ、それほど時間はかかりませんでした。90秒程度。
①LLMモデルは、最初に「Qeue」を押すとダウンロードされます。
画像生成部のプロンプト部は最初空白なので、一括選択してミュートにしておきます。(このあたりの動作はもっと楽なのがあるはず)
「Omost LLM loader」で選べる3つのモデルから「dolphin-2.9-llama3-8b-4bits」を選択します。
②「Omost LLM chat」にプロンプトを入力します。日本語もOKの様です。
この状態で、90秒ぐらいでプロンプトが生成されました。
上手くいかない場合は数分かかり、エラーを吐きましたので、RESTARTしてやり直す感じになります。
ここのJSONを生成部のところにコピペします。
これで生成を押せば通常通り画像が生成されます。上のプロンプトだとNSFW的な感じになったので、ワークフローにあるプロンプトで作成したのが以下の画像です。
※Localでインストールしたところ、NNlatentupscalerがうまく動かなくなりました。アップデートして再起動したら動くようになりました。
この記事が気に入ったらサポートをしてみませんか？