【Stability Matrnix】Stable Diffusion Web UIでのモデルやLoRAの適用方法を解説

はじめに

前回の記事で、『Stability Matrnix』を使った初心者向けで、プログラミングいらずで『Stable Diffusion Web UI』をローカル環境に構築(インストール)する方法を解説していきました。 ※まだ記事を見ていない、『Stable Diffusion Web UI』の構築(インストール)に困っているという方は以下リンクから前回記事をご覧ください。

ローカル環境に構築できた人は、これから画像生成を始めることになると思うのですが、そんな中で重要になってくるのが『LoRA』と『Checkpoint』になります。
本記事では『LoRA』とは何か『Checkpoint』とは何か、どうやって『Stability Matrnix』上で導入するのかについて解説していきます。

Checkpointとは？

Stable DiffusionのCheckpointとは、モデルの特定の状態を保存したファイルのことを指します。このため、『モデル』という風に呼ばれています。
このファイルには、モデルが学習した重みやバイアス、その他のパラメータが含まれており、これを使うことで、訓練を再開したり、モデルを他の環境で利用したりすることができます。
Checkpointは、通常、モデルの訓練中に定期的に保存され、最良のパフォーマンスを持つモデルを選択するために使用されます。また、特定のタスクに適応させるために、事前に訓練されたモデル（例えば、Stable Diffusionのような画像生成モデル）を利用する際にも重要です。これにより、ユーザーは時間を節約しつつ、高品質な生成物を得ることが可能になります。

LoRAとは？

LoRA（Low-Rank Adaptation）は、機械学習モデルを効率的に適応させる手法の一つです。特に大規模なモデルに対して、少ないパラメータで特定のタスクやデータセットに適応させることができます。
LoRAは、モデルの重みを低ランクの行列で近似することにより、訓練時の計算コストやメモリ消費を削減します。これにより、既存の大規模モデルを使用しながら、特定の目的に合わせた微調整を行うことが容易になります。
この手法は、特に画像生成や自然言語処理などの分野で広く利用されており、効率的にモデルのパフォーマンスを向上させる手段として注目されています。
例えば自分の好きなキャラクターのLoRAがあれば(作ることもできる)、そのLoRAを使って自分の好きなキャラクターに似たキャラクター画像を作成することも可能です。

Checkpointの導入・適用方法

①左のリスト上の『Model Brouser』を選択します

②モデルタイプを『Checkpoint』に変更します

③どのAIに対応しているかをチェックします

画像内の例で言うと今回は『Stable Diffusion Web UI』ですので、対応しているのは1.5と書かれているものです(Stable Diffusion 1.5という意味です)。
ベースモデルのフィルターを絞り込めばそのフィルターのものしか出てきません。
④導入したいcheckpointを選択

導入したいcheckpointを選択すると上記のような画面が出てきます。バージョンが選択できますが、基本的には最新のものをそのまま入れておけばいいので『インポート』をクリックします。

ダウンロードが始まりますので、少し待ちます。
⑤『Stability Matrnix』上でcheckpointがインストールされているかチェックをする

左の欄の『Checkpoint Manager』で、現在インストールされているCheckpointやLoRAが確認できます。All Modelsに、先ほどインストールされているcheckpointが入っていればOKです。
⑥『Stable Diffusion Web UI』上で確認する

左上の『Stable Diffusion checkpoint』と書かれているところに、先ほどインストールしたcheckpointが表示されていれば完了になります。
後はこのまま選択した状態でプロンプトを流せば、checkpointをモデルとして画像が生成されます。

checkpointにもリストとして登録されています。

LoRAの導入・適用方法

LoRAの入れ方もほぼcheckpointと同じなので、割愛できるところは割愛して説明させていただきます。
①モデルタイプをLoRAにしてLoLAをインストールする

インストール方法はcheckpointと同様です。
インストールしたいLoRAをクリックしてインストールします
②LoRAがインストールされているか確認する

『checkpoint Manager』の『Lora』にインストールされていれば完了です。
③プロンプトと加えてLoRAを適用する
LoRAを適用するにはプロンプトの中にLoRAを盛り込ませる必要があります。

まず取り入れたいLoRAを『Stable Diffusion Web UI』で開きます。
開いてLoRAの画像の部分をクリックします。

クリックすると<LoRAの名前：重み>が自動的にテキストボックスに入るので、この後にプロンプトを繋げてください。
LoRAは複数のものを組み合わせることが可能です。
重みは強すぎると画像がぐちゃぐちゃになるので、低いところから徐々に上げていき調節するのがおすすめになります。

まとめ

いかがでしたでしょうか。前回の記事の内容と合わせて最低限の画像を生成する知識は身に付いたと思います。
しかし、画像生成はこれで終わりではなく、ここから画像の質を上げるためにプロンプトを調整したり、プラグインを入れてみたりとやることはたくさんあります。
また機会がありましたら、上級者編の記事も書いてみようと思いますのでその時はどうぞよろしくお願いします。

おしらせ

電巧社ではセキュリティ分野専門のブログも公開しています。ゼロトラストセキュリティを始めとした、ランサムウェアへの対処法等を紹介しています。こちらもよろしくお願いします。