stability matrix controlnetの使い方

分かった事を書いておかないと忘れてしまうのでメモ。
このnoteでは美少女画像をパソコン初心者、素人でも簡単に出来るようにするのが目的です。
低スペックパソコンで美少女画像生成をするのにはsea artが最も適しているため、sea artの使い方を書いていきますが、低スペックパソコンでもStable Diffusionが使用できると話題の「stability matrix」も同時並行で現在実践しています。

stability matrixの中でも低スペックPCでも動作するforgeをインストールするところまでは、検索で「stability matrix　インストール」や、「stability matrix　使い方」で検索すると出てきて、簡単にインストールまでは出来ます。
美少女画像生成をするのは簡単ですが、問題は気に入った画像を構図をそのままで変更したい場合です。
これに難航していたのですが、コントロールネットを使用するみたいなので、stability matrixでcontrolnetをどうやって使うのかをメモしていきます。

stability matrixのmodel browserからコントロールネットをインストール

stability matrixの管理画面の左側のタブに「model browser」があります。
そこで「hugging face」タブから、コントロールネットを選択してインストールします（下記画像）
20分ほどインストールに時間がかかりました。

インストールが完了したら、stability matrix forge を起動します。
すると、画面中央あたりのcontrolnetが使用できるようになっています。
「controlnet　使い方」などで検索しても、stability matrixでの使い方ではなく、上級者であるStable Diffusionでの使い方ばかり出てきてstability matrixで使いたい人にとっては苦悩すると思います。
高スペックPCを持っている人は、stability matrixではなく、Stable Diffusion WEB UIをgoogle colaboratoryを使って使用している人が多く、その場合は、hugging faceからcontrolnetを個別でダウンロードしてきて、インストールしているみたいですが、私にはさっぱり分かりませんし、そもそもgoogle colaboratoryでStable Diffusionを動かすことが出来ませんでした。

stability matrix forgeでコントロールネットを使用する場合、上図のように、enableにチェックを入れます。
試しに「輪郭」を検出するらしい「canny」を選んでみます。
他の内容はまだ分からないので、youtubeで紹介してくれていた「canny」を試してみます。
cannyを選択すると、下部のモデル欄などの選択肢に自動で設定されるので、初心者はまずこれで試してみましょう。
コントロールネットの選択をしたら、プロンプト入力欄に、pink hairと入力しました。

最初、何も設定を変更せず出力したら、髪の色以外もピンクになったり元画像と結構離れた画像が出てしまいました。
そこで調べてみたら上図赤丸の「control weight」の値で、元画像をどの程度影響させるかを選べるみたいです。
数値が低いほど元画像に近いとの事だったので、数値を下げて試してみました。

服や背景は勝手に変わってしまいましたが、髪の色はピンクになりました。
多少、構図が変わっており100％完全に元画像から変更するのには、より技術と知識が必要だと思いますが、英語表示でコントロールネットの詳細も分からないので、とりあえずここまでは出来たというメモです。
これからコントロールネットの使い方も、調べていきますので、私と同じようにパソコン知識が無くても美少女画像をある程度自由に出せるようになる記事を書いていきたいと思います。