見出し画像

画像生成AI忘備録　11月号

かたらぎ

stable Diffusion webUIの導入

NovelAI V3　初心者向け講座

ホットトピック

Animate Anyone

　Animatediffなどと同じようにstableDiffusionを基盤に動画生成ができるものです。以前のものより一貫性が高く、一枚の絵から動かせるのが特徴です。まだ、デモやモデルの配布などは行われていませんが期待の持てる技術です。

　抹茶もなかさんがこの技術について非常に詳しく解説してくださっている記事があるので内容に興味のある方はこちらをご覧ください。

SDXL Turbo

　SDXL Turboとは1stepで画像を生成できるモデルのことです。環境構築のいらないデモは下記のリンクからご利用いただけます。

　同じく環境構築不要でgoogle Colubなどで使うこともできます。

　stable Diffusion WebUIなどのローカル環境ではこちらのhuggingfaceのページからダウンロードしてください。WebUIではV1.6.0での動作は確認しています。

　またSDXL系モデルならSDXL turboを差分LoRAとして抽出できます。抽出したLoRAの容量を削減したモデルは私のhuggingfaceにあります。

LCM-LoRA

　LCM-LoRAは画像生成を高速化する手法の一つです。専用または一部の既存のサンプラーで動作し、非常に少ないステップ数(4～8程度)、低いスケール(1~2程度)で動作します。通常のLoRAを使うときと同じように使えるため非常にお手軽です。
　まゆひらさんの記事で詳しい導入方法が分かります。

　ぶるぺんさんのnoteでも同じ様に導入方法が確認できますがおまけとして独自の拡張機能が公開されています。

　LoRAの配布先にはSD1.5系とSDXL系で使える2つのバージョンがあります。

　また、アニメであるLinaqruf氏制作のanimagine-xl-2.0用 LCM-LoRAもあります。アニメモデルでの動作を試したい方はこちらを使ってください。

　LCM-LoRAを使う際はサンプラーによってうまく生成されないものがあるので気を付けてください。

TensorRTの導入

　TensorRTとはWebUIで画像生成を高速化する手法の一つです。導入に関しては人によってすんなりいく場合と、いかない場合があります。自分がTensorRTを利用可能かどうかは一度WebUIの別環境を作ってそちらで試してもいいかもしれないです。その際はCドライブ(OSが入っているドライブ)で試すのがおすすめです。自環境では他ドライブで試したときうまくいかないことがありました。

まず、NVIDIA公式からTensorRTの拡張機能をダウンロードします。

コピー用URL
https://github.com/NVIDIA/Stable-Diffusion-WebUI-TensorRT

　拡張機能の入れ方は他と変わりません。WebUIの拡張機能タブから「URLをインストール」を選択し、「拡張機能のリポジトリのURL」に上のURLをコピーして入れてください。あとはインストールを押すだけです。
　ここでWebUIを再起動(コマンドプロンプトを閉じて立ち上げなおす)してください。通常、ここでタブが表示されるはずなのですが表示されない人も多くいるようです。　このお三方のnoteにトラブルの対処方法が多く載っています。(一番詳しいのはまゆひらa氏)

stable Video Diffusion(動画生成)

　動画用のstableDiffusionモデルを利用して動画を生成できます。google Colabで動かす場合は下記の記事を参考にしてください。

　ローカルでのインストールや動画生成の方法については二つの記事が役に立ちます。

kritaを使っての生成お絵描き

　Kritaとは無料で使えるオープンソースのペイントソフトでLCMによる高速生成を活用したリアルタイムでのお絵描きができます。

デモはこちら

　またkritaでは画像生成に好きなモデル・LoRAを使えます。LoRAの使用方法は「ComfyUI\models\lora」に使いたいLoRAを配置してから下記ポストの④の部分に隠れている「add」ボタンで追加するだけです。

　導入方法や使い方の詳しい点は青猫さんの解説記事がおすすめです。

LCM_i2i_PoC

　抹茶もなかさんの画面取り込み式では画面をキャプチャして使用するためフォトショップやクリップスタジオペイントなどの任意のペイントソフトでも使うことができます。

　とりにくさんによる改造版もあるようです。

Checkpoint（モデル）の一覧

まゆひら氏による各SDバージョンごとのまとめ

SD1系モデル

SD2系モデル（SD2系のみ別の方のリンクも掲載）

SDXL系モデル

VAE

LoRA

自著。ローカルでのloraの作り方について解説した初心者向けの教本。






いいなと思ったら応援しよう！