新登場！IP-Adapter-FaceID Plus V2：これを使えば、すべての画像が同じ顔に？！😶イラストでも実写でも可能な新技術を簡単に導入しよう！
最近、IP-Adapter-FaceID Plus V2 がひっそりとリリースされて、Controlnet だけで高精度の同じ顔の画像を作成できると話題になっていました。また、それに加えてWebUI にも対応したとのことです。
そこで、今回のこの記事では、Stable Diffusion で IP-Adapter-FaceID Plus V2 を使用して、LoRA わざわざ作ったりしなくとも、同じ顔の画像を作成する方法を解説して行きたいと思います！
この方法の一番のメリットは、横を向いたりアニメ風にしていたりしても、きちんとした画像として成り立つことです！ここはディープフェイクなどには出せない部分なので、今回お伝えする方法を実施して頂ければもっと画像生成が楽しくそして幅広いものになると思います！
例）
● 前提条件 (Stable Diffusionの使用環境)
この記事は Stable Diffusion WebUI と SDXL が導入されている事を前提に進めていきます。
Stable Diffusion WebUI で SDXL を使用するには『NVDIA製のグラフィックボードでかつ VRAM 16GB 以上を搭載したPC』が必要になり、そのスペックのPCを購入するには 約30万円以上の料金がかかります。
本稿の解説でも、それと同等の使用環境があることを前提に解説を進めます。
とはいっても、Stable Diffusion の利用にいきなり約30万円の初期投資ができる人はそういないと思いますので、私の記事では
Amazon Sagemaker Studio で無料利用。
Paperspace Gradient で課金し、より高性能なGPUマシンで利用。
それでも物足りなくなったらハイスペックPCを購入する。
といった優先順位での利用を推奨しております。
そのため、そのような性能のPCを持たない方は、 私の別の記事で解説している『クラウドサービスから Stable Diffusion WebUI を使用する方法』を使用して、同等の環境で利用することができますので、まずは以下のリンクから登録・導入作業をお願いいたします。
① 【無料】 Sagemaker Studio で利用する方法
こちらの方法は、無料で行うことができ、VRAM 15GB を搭載したGPUマシンを使用することができます。つまり、最新版モデルであるSDXLを使用することができます。
具体的には、Amazon Sagemaker Studio で Stable Diffusion WebUI を使用する方法を詳細に解説しており、 煩わしい導入作業や起動もワンクリックで 行うことができます。
無料であることのデメリットとしては、ベータ版であることと、1日に4時間の使用制限があることが挙げられますが、 1日の利用制限を実質ないことにする方法も解説しています。
『 ひとまずは無料で試してみたい』『 マネタイズできてきたら有料のサービスを利用したい』といった方は、以下のリンクをクリックしてご利用ください。
② 【月額8$】 Paperspace Gradientで利用する方法
こちらの方法は、 月額8$ (約1180円) で行うことができ、VRAM 16GB を搭載した、 さらに高性能なGPUマシンを使用することができます。
具体的には、Paperspace Gradient で Stable Diffusion WebUI を使用する方法を詳細に解説しており、 こちらでも煩わしい導入作業や起動もワンクリックで行うことができます。
また、こちらの方法では 1 日の利用制限等は特になく、当然 SDXL を使用することも可能です。
『もっと画像生成の時間を短縮したい』『 もう一歩踏み込んでStable Diffusion WebUI を使ってみたい』といった方は、以下のリンクをクリックしてご利用ください。
1. Stable Diffusionとは？ControlNetとは？
Stable Diffusionは、テキストから画像を生成するAIツールで、ControlNetという拡張機能を使用して、生成画像の特徴を指定することができます。これにより、ユーザーは自分の思い描いたイメージを具体的な画像として表現することが可能になります。
Stable Diffusionは、英系スタートアップ企業のStability AIを中心に開発された画像生成モデルで、文章プロンプトを入力するだけで、さまざまなスタイルやジャンルの画像を作ることができます。こちらの基礎や詳しい情報については以下の記事で解説をしているので、詳しくはそちらをお読みください。
また、ControlNetという拡張機能を使うと、生成画像の特徴を細かく指定したり、参照画像と同じポーズや構図を持つ画像を生成したりすることも可能です。こちらも以下で解説をしています。
さらに、その機能の一つである、IP-Adapterという技術を用いると、画像をプロンプトとして扱って、類似画像や変換画像を生成することができます。 つまり、この記事では、IP-Adapterの中の、顔認識モデルとLoRAを活用したIP-Adapter-FaceIDについて詳しく解説していきます。
2. IP-Adapter-FaceID: 顔認識モデルとLoRAを活用
IP-Adapter-FaceIDは、顔認識モデルとLoRAを活用して、画像から顔の特徴を抽出し、生成された画像に適用することができます。これにより、特定の人物の顔の特徴を持つ画像を生成することが可能になります。
IP-Adapter-FaceIDは、InsightFaceという顔認識モデルを基に構築された画像生成技術です。InsightFaceは、顔検出、顔のアラインメント、顔検証、顔識別などの機能を持つオープンソースの2D&3D深層顔解析ツールボックスで、顔の特徴を抽出して、Stable Diffusionに渡すことができます。
つまり、顔のみを変換したり、顔のスタイルを変えたりすることができるということですね。
また、それと並行して、IP-Adapter-FaceIDは顔認識モデルからFace ID embeddingを使用し、LoRAという技術を用いて、ID一致性を高めています。
LoRAというのは、追加学習の際に必要となるメモリと計算量を大幅に削減し、かつ数十枚という少ない画像データでも良好な結果が得られるという、画期的な手法なのですが、簡単に言うと画像の傾向を学習させて生成結果に反映させるものになります。
そのため、IP-Adapter-FaceIDは、顔認識に特化しており、ほかのモデルやControlnetと比べ、顔の類似度が高いという特徴があります。
実は以前に、IP-Adapter-Plus の一部の機能として登場してまして、その際は以下の記事で具体的な作り方について解説を行ないました。
3. IP-Adapter-FaceID Plus V2: 静かにリリース
IP-Adapter-FaceID Plus V2は、上記のアップグレード版で、最近こと静かにリリースされました。このモデルは、写真から人物の特徴をより高精度で抽出し、生成された画像に反映することができるとのことで生成aiの界隈では評判になっています。具体的には、使用するとこんな感じの画像を作成することができます。
4. ControlNetがIP Adapter FaceIDをサポート
最近では使えなかったのですが、ついにControlNetで、最近IP Adapter FaceIDをサポートするようになりました。これにより、Stable Diffusion WebUI で、細かいプロンプトの記述をしなくても、画像をアップロードするだけで簡単に特定の人物の顔の特徴を持つ画像を生成するのが容易になりました。
⚠ 本題に移る前に、メンバーシップの説明をさせてください。
🎈 たった一晩でプロのイラストレーターになれるメンバーシップ 『あいラボ (AI-Labo)』
このブログでは、月980円で私が書いた有料記事が全て読み放題になるメンバーシップに加入することができます。
有料記事では、生成AI を使った創造的なコンテンツをお届けしています。
具体的には、以下のようなものがあります。
どんなPCでも、たとえスマホでも Stable Diffusion XL（SDXL）を無料 or 低額で使用する方法
SDXL を使用するには VRAM16GB 以上のGPUを搭載したPCが必要であり、そのスペックのものを購入しようとすると最低でも30万円はします。
これを、ある方法を利用することで無料もしくは低額で利用できますので、実質 約30万円 が丸々お得になります。
👇 詳細は以下クリック👇（マガジンにまとめてあります。）
SDXL で思い通りの画像を生成して、自分の絵をもっと好きになる方法
Stable Diffusion は最も画像生成の幅が広く大変機能の充実したジェネレーティブAI ですが、使いこなすにはコツがあります。
実は、少し工夫を加えるだけで生成画像のクオリティが格段に良くなるのですが、あまり多くの人はその方法を使っていません。
つまり、その方法を使うだけで、例え初心者であってもすぐに周りを追い越すことができます。その最短距離をお教えします。
👇 詳細は以下クリック👇（マガジンにまとめてあります。）
SNS を自動化して、Stable Diffusion を使ったSNS運用をする方法
SDXLの導入と画像生成のコツがわかったら、次はSNSなどで発信して、ポートフォリオを作り副業にしたり、社会貢献に使ったりなどなど、色々な道があると思います。
そのため、Stable Diffusion の知識に加えて、SNSを自動化する方法も案内しています。ここでは、SNSで毎日決まった時間に画像付きの投稿をする方法などもまとめておりますので、毎日のSNS運用がぐっと楽になるはずです。そうして空いた時間を、画像生成や他の活動に回すこともできます。
👇 詳細は以下クリック👇（マガジンにまとめてあります。）
このように、メンバーシップではこれらの記事が全て読み放題になり、その中には通常は3000円近い有料記事も含まれていますので、今ならそれらも980円で閲覧できる事になります。
今が最もお得な時期になりますので、是非メンバーシップに登録して生成AIの魅力を体験してみてください！
👇 以下をクリックして、すぐに登録できます👇
それでは、続きを解説していきたいと思います。
5. Stable DiffusionでFaceIDを使用するための手順
Stable DiffusionでFaceIDを使用するためには、少しひと手間がありまして、insightfaceというものをインストールする必要があります。Stable Diffusion WebUIのフォルダーに移動して以下のコマンドを実行してください。
pip install insightfaceなお、Stability Matrix などで仮想環境にインストールしている場合は、以下のコマンドを実行します。（Stability Matrix の場合は Packages の中にあります。）
venv\Scripts\activate
pip install insightfaceインストール後、対応するモデルとLoRAをダウンロードしてモデルフォルダに配置することで、FaceIDを使用することができます。
・モデルのパス
Stable-diffusion-webui\models\ControlNet
・LoRAのパス
Stable-diffusion-webui\models\Lora6. IP-Adapter-FaceIDの使い方
IP-Adapter-FaceIDを使うには、モデルとLoRAが必要です。
以下のように各FaceID IPAdapterモデルに使用するチェックポイントとプリプロセッサの組み合わせがあり、これを使用することで、FaceID IPAdapterモデルを使用することができます。
ここから先は
この記事が参加している募集
この記事が気に入ったらチップで応援してみませんか？