IP-Adapter FaceIDの導入
まずはReActorの導入
まず導入する前にinsightfaceをインストールしなければいけないのですが
ReActorをインストールすると自動的にinsightfaceもインストールされるので
ReActorをインストールしていきます。すでにReActorを導入されている方はこの項目を飛ばしてください。
以下のリンクににアクセスします
https://visualstudio.microsoft.com/ja/downloads/
赤い枠で囲った Visual Studio 2022 というプルダウンを開きます。
Visual Studio Community 2022 という段にあるダウンロードをクリックしてダウンロードします。
ダウンロードしたインストーラーをダブルクリックすると以下のような画面になります。
ここで
Python 開発
C＋＋によるデスクトップ開発
Visual Studio 拡張機能の開発
の３つにチェックをしインストールしていきます。
インストールが終了するとマイクロソフトのアカウントへのログインと承認を求められるので、自分のアカウントでログインしてください。
これで準備が整いましたので、ReActorをインストールしています。
まずStable Diffusion を開いて
「Extensions」タブを開き、その中の「Install from URL 」のタブを開きます。
このような画面になるので一番上の段に以下のリンクを貼り付けます。
https://github.com/Gourieff/sd-webui-reactor
貼り付けたらインストールします。
インストールが終わったら「Extensions」の中の「Installed」のタブを開きます。
「Installed」タブの画面で「Check for updates」、「Apply and restart UI」の順番でクリックして再起動します。これでReActorの導入が完了しました。
次はいよいよ
IP-Adapter FaceIDの導入です。
IP-Adapter FaceIDの導入
以下のサイトにアクセスします
https://github.com/Mikubill/sd-webui-controlnet/discussions/2442
この中の「IPadapter」と「LoRA」のそれぞれに「Plus v2」というのがあるので、それをダウンロードします。
この中の「ip-adapter-faceid-plusv2_sd15.bin」「ip-adapter-faceid-plusv2_sdxl.bin」の二つは以下のフォルダに入れます。
Colabでやってる場合はGoogleドライブに「sd」というフォルダーがあるので下記と同じフォルダー階層になっているはずです。
stable-diffusion-webui\extensions\sd-webui-controlnet\models
残りの「ip-adapter-faceid-plusv2_sd15_lora.safetensors」
「ip-adapter-faceid-plusv2_sdxl_lora.safetensors」は以下のフォルダーに格納してください。「faceID」フォルダは自分で作成してください。
stable-diffusion-webui\models\Lora\faceID
これで導入は終わりです。早速、テストしていきましょう。
Stable Diffusionで以下のプロンプトをコピペしてください。
master piece , best quality , highly detailed , (matured female) , (chair) , (sitting) , (v arms) , blouse , short denim , japanese , room , indoor
Negative prompt: (worst quality:2) , (low quality:2) , (normal quality:2) , lowres , blurry , bad anatomy , bad hands , missing fingers , nsfw , multi view , nipples , moles , long neck
Steps: 40, Sampler: DPM++ SDE Karras, CFG scale: 7 , Size: 512x512, Model hash: 2f6490e4ca, Model: bellyberry1, VAE hash: 13cf1cf329, VAE: sr_SDv2vae_kl-f8anime2.safetensors, Denoising strength: 0.5, Hires upscale: 2, Hires upscaler: R-ESRGAN 4x+, Version: v1.6.0
以下の画面の上の段にコピペしたプロンプトを入れて斜め下の矢印ボタンをクリックすると自動的に設定できます。今回はモデルには「bellyberry1」を使用しています。
はい、以下のような画面になったと思います。三角をクリックしてControlNet のタブを開きます。
顔を参照したい画像をドロップして画像を入れます。
Enableにチェックを入れて
IP-adapterにもチェックを入れます。
Preprocessorには「ip-adapter_face_id_plus」を選択。
Modelには「ip-adapter_faceid-plusv2_sd15」を選択します。
これで生成してみましょう。
左が参照した画像で、右が生成された画像です。
眉毛の太さ、頬骨の造形、全体の顔の長さ、小鼻の感じなど参照した画像に似ていることがわかると思います。
LoRAも使う場合は「LoRA」タブを開き、「ip-adapter_faceid-plusv2_sd15」をクリックすると
このようにLoRAのプロンプトが追加されますので、生成してみましょう。