見出し画像

【最新・ComfyUI顔入れ替え術✨】ReduxとPuLIDで自然な合成!アニメもリアルも自由自在!導入方法から実践まで徹底解説!

どうも皆さん!葉加瀬あいです!

今回はComfyUIでReduxとPuLIDを組み合わせて、参照画像のスタイルを活かしながら自然な顔の入れ替えを実現する方法を解説します!

特徴量をAIが計算して画像生成するので、リアル系でもアニメ系でも自由自在に顔交換が可能です。ぜひ最後までご覧ください!

なお、私の メンバーシップ にご入門されている方は、いつものように記事の内容を 動画 で確認できます!

https://tinyurl.com/28bukotz

Youtubeでは一部の動画を期間限定配信しているので、よかったらチャンネル登録もおねがいします🙌

それでは、本日もよろしくお願いします!


はい!それでは改めてこんにちは皆さん!電車で席に座る時、両隣の人との間隔を完璧に均等にしようとしちゃう、葉加瀬あい(ハカセアイ) です!

というわけで、今日はComfyUIをいじりつつ、顔交換AIについての解説をお届けしていきたいと思います!それでは、さっそく本題に入りましょう!

ComfyUIでReduxとPuLIDを一緒に使う方法

今回は、前回の記事で質問が多かった ComfyUIでReduxとPuLIDを一緒に使う方法 について解説していきたいと思います!

https://tinyurl.com/29fvvrcf

次回、 FillとReduxを一緒に使う方法 についても解説していく予定なので、そちらもぜひ楽しみにしていてください!

※ 一例です。

具体的な手順

では、早速 ComfyUIでReduxとPuLIDを一緒に使う方法 を説明していきます!

今回は、フリー素材の参照画像を用意して、その参照画像を PuLIDでフェイススワップ する、といった手順で進めていきます。

「フェイススワップ…なんだか難しそう…」と思った方もいるかもしれませんが、意外と簡単なんです!

まず、参照画像を ReduxのモデルとPuLIDのモデルにそれぞれ読み込ませます

最終的には、参照画像のスタイルを引き継いだ画像を生成し、その画像の顔を PuLIDで読み込ませた画像の顔に変換 します。

「ただの合成じゃないの…?」と思った方もいるかもしれません!

実は、 特徴量 というものをAIが計算して画像生成してくれるので、ただの合成とは全く違うんです!
リアル系でもアニメ系でも自由に対応できる というのが、この手法の最大の特徴です。
すごいですよね!

ComfyUIの使い方

なお、今回は ComfyUI を使って画像生成に挑戦していきます!
PCの操作に慣れていない方も、 手順に沿って進めていけば大丈夫 です!

ということで、まず最初に今回の関連記事からご紹介します!

まずはComfyUIを立ち上げていただく必要があったり、必要なモデルをダウンロードしたりしなくてはいけないので、少しそこについて説明させてください。

クラウド環境でComfyUIを無料で使いたい場合

クラウド環境でComfyUIを無料で使いたい方は、 こちらの記事を参考にして みてください。

https://da.gd/MT48kg

クラウド環境でComfyUIを課金して使いたい場合

もし課金してComfyUIを使いたい場合は、 Mimic PCから利用するのがおすすめ です。
買い切りで一生使えるクラウド環境で、ComfyUIや色々なAIツールを使うことができます。

https://da.gd/3qymGU

ComfyUIをPCにインストールしたい場合

ComfyUIを自分のPCにインストールしたい場合は、 Pinochio Computer というものを利用すると ワンクリックでインストール できます!
VRAMが16GB以上ある方向けの方法になります。

https://da.gd/ys59m2

VRAMって何だろう?必要なPCのスペックは?

画像生成AIって、なんだか難しそう…と感じる方もいますよね?
特に、 VRAM ってそもそも何なのか、どんなPCが必要なのか、気になりますよね!
そんな疑問をお持ちの方には、こちらの記事がおすすめです。
VRAMの役割や、必要なPCスペックについて分かりやすく解説しています!
ぜひ読んでみてください!

https://tinyurl.com/2ymopc6z

画像生成AIの基礎知識を学ぼう! シード値、CFGスケール、サンプラーって何?

画像生成AIを使う上で、 シード値CFGスケールサンプラー …など、専門用語が出てきて困っていませんか?
これらの用語、実は画像生成AIで重要な役割を果たしているんです!
無料でこれらの基本的な基礎知識を解説している記事があるので、ぜひチェックしてみてください。
より深く画像生成AIを理解できるようになります!

https://is.gd/GEIt12

最新の画像生成AIモデル「Flux」を使ってみよう!

今回は、最新の画像生成AIモデルである Flux を使っていきます!
Fluxは、すごく綺麗な画像を生成できるモデルとして注目されています。
少し使い方が難しいモデルですが、これから丁寧に解説していくのでご安心ください。
モデルのダウンロード方法や、 スケール版量子化版 などについてはこちらの記事で解説しているので、ぜひ参考にしてみてください!

https://da.gd/UUPHV

FluxToolsの基本的な概要

FluxToolsの基本的な概要についてはこちらのURLから確認しておいてください!

https://is.gd/ABRXYB

軽量化版モデルのダウンロード方法

Fluxをもっと手軽に使いたい!という方には、 軽量化版 モデルがおすすめです。こちらの記事では、軽量化版モデルのダウンロード方法や、 スケール版量子化版 についても解説しています。

https://da.gd/wjOVG

ComfyUI managerを使いこなそう!

それで今回のように、ComfyUIを使う上で、 ComfyUI manager は必須ですね! インストールしておけば ComfyUI でのエラー が格段に減り、難しいことを考えなくてよくなるので、必ず入れておきましょう!

https://is.gd/CkcpoI

生成した画像をもっと高画質に! アップスケールとは?

さて、ここからは おまけ です! 今回生成した画像をもっと高画質にしたい!という気持ちがある方もいると思うので、そんな時には アップスケール という技術を使うんです。

アップスケーラー についての詳しい情報は、こちらの記事や動画を見てみてください!

https://is.gd/HQCx5W

もっと綺麗な画像を生成できたら、嬉しいですよね!

リアルスキンで本物の人間のような質感に!

さらに、 リアル系の画像 を生成したい方には、 リアルスキン という技術がおすすめ! 本物の人間のようなリアルな肌に変換できるんです!

https://is.gd/RZFkYV

よりリアルな表現を追求したい方は、ぜひチェックしてみてください!

Flux.1Toolsの画像設定をハンズオンで体験!

はい、ということでですね、今回いくつか関連記事をご紹介したので、それをもとに、早速 ハンズオンFlux.1Tools画像設定 を体験してみましょう!

ComfyUIインストール済みが前提です!

今回は ComfyUI がすでにインストールされていることを前提に進めていきます。 ノード の動かし方なども詳しく解説していくので、PC操作に不慣れな方もご安心ください!

Flux.1Toolsを動かす前の注意点!

Flux.1Toolsを動かす前に、一つ注意点があります。 Florence2 を使って、 参照画像 の内容をプロンプト(AIへの命令文)に変換しているのですが…ここでエラーが出ることがあるみたいです。

簡単に調べてみたところ、 Huggingface からのダウンロードでエラーが発生していたようなので、以下のコマンドを実行したら私は解消されました!

pip install huggingface_hub==0.25.1

ただ、詳細までは調べていないので、もしエラーが続く場合は、 ComfyUIのgithubのissue で質問してみるのがおすすめです。

ComfyUIのgithub issueはこちら

ちょっとここのエラー対応のやり方について詳しく解説します。

まず、ComfyUIのフォルダに移動して、右クリック!
「ターミナルで開く」をクリックしてください。
すると、ターミナルが ポンッ と開きます。

ターミナルでコマンドを実行!

ターミナルが開いたら、次のコマンドを順番に入力していきます。
ちょっと難しそうに見えるかもしれませんが、 コピペ で大丈夫です!

venv\Scripts\activate

これで、venvが更新されていることを確認!
次に、以下のコマンドを実行します。

pip install huggingface_hub==0.25.1

すでにインストールされている場合は、「Requirement already satisfied」と表示されます。

ComfyUIを立ち上げてみよう!

準備ができたら、ComfyUIを立ち上げていきましょう!

今回私はStability Matrixを使っているので、こちらのように起動します。
Pinokioやクラウドを使っている場合でも、ファイルの配置などは基本的に同じなので、操作に違いはないはずです。

もしエラーが出たら、コメントで教えてください!Noteの本メンバーシップの方であれば対応いたします。

ワークフローをダウンロード&適用!

ComfyUIが立ち上がったら、ワークフローをダウンロードしましょう!
ワークフローのダウンロードは、 以下のリンク からどうぞ。

ここから先は

4,681字 / 32画像

🎈葉加瀬のAI研究室 ~あいラボ~ 記事/動画/質問プラン

¥2,599 / 月
あと27人募集中
このメンバーシップの詳細

この記事が参加している募集

この記事が気に入ったらチップで応援してみませんか?