Omost/ComfyUI x Paperspace やってみた

2024年6月5日 18:30

Omostですが、ComfyUIを使用したバージョンがpaperspaceでも使用できることが分かりました(2024/6/5時点)。
今後、インストールがらみについては、アップデートなどで改善してく可能性がありますので、参考程度に見ていってください。

コマンドについては、以下の内容を参考にしました。

ということで、Omostのインストールですが、現段階ではcomfyui managerからはインストール出来ません。そのため、セルコマンドでインストールしておく必要があります。一時ディレクトリだと以下のような感じです。

# ComfyUI_omostのインストール
%cd /tmp/ComfyUI/custom_nodes
!git clone https://github.com/huchenlei/ComfyUI_omost

さらに、そのまま起動しても、モデルのダウンロードがうまくいきません。

Transformerがうんたらかんたら・・・・とエラーが出てしまいます。

当初はGPTさんに聞いたりしていましたがうまく改善しませんでした。

色々調べたところ、上のCamenduruさんのところのコマンドを使用したところ問題なく動くようになりました！！！
おそらくバージョンを固定しないとうまくいかない系のようです。

!pip install transformers==4.41.1 accelerate==0.30.1 bitsandbytes==0.43.1

＜追記2024/6/10＞
上記でインストールできない場合は以下のライブラリを追加すると良いかと

!pip install openai

!pip uninstall -y pydantic
!pip install pydantic==1.10.2

あとは、前の記事と同じ感じで進めていきます。
PaperspaceのFree A4000での動作を確認しました。

Omostを試してみた印象を以下に記載しておきます。

①一度生成したプロンプトを使用しても、結構異なる絵になる
(※チェックポイントの影響の可能性もある)
②背景描写がとてもバリエーションが豊かになる
(※もともと背景プロンプトを対して記載していない人のみ)
③ポニー系だと、品質プロンプトを追加する影響か当初希望したものとは異なる印象の絵になることがある
④Tiled diffusionを使用する場合は、通常より時間がかかるかもしれない。

以下、同じプロンプトで生成した画像になります。
「Mayumiが、こちらを誘惑している。性的な魅力あふれる服装をしているが、。。。。。。。場所は、夜の街。新宿のようなところ。」
みたいな感じです。。。。。

Dolphinを使用しているため、半分ぐらい服を着ていないものもありましたが、それは割愛しています。