#controlnet
論文解説 ControlNeXt: Powerful and Efficient Control for Image andVideo Generation
ひとことまとめ
概要ControlNetやT2I-Adapter,ReferenceNetは平行なブランチを追加したりアダプターを挿入することで画像条件追加を可能にしている。しかし、これらの手法は計算資源や学習難度が高い。ControlNetは2倍近いGPUメモリを消費したり、大量の追加パラメータを持っている。これらは特に動画生成で問題になる。
T2I-Adapterは1度の推論で特徴量を生成す
Google Colab で Flux の ControlNet を試す
「Google Colab」で「Flux」の「ControlNet」を試したのでまとめました。
前回1. ControlNet「ControlNet」は、「Stable Diffusion」モデルにおいて、新たな条件を指定することで生成される画像をコントロールする機能です。プロンプトでは指示しきれないポーズや構図の指定が可能になります。
今回は、「InstantX」提供の「ControlNet
論文解説 AnyControl: Create Your Artwork with VersatileControl on Text-to-Image Generation
ひとことまとめ
概要ControlNetなどはStableDiffusionに追加で画像条件を加えることができる手法である。これにより、テキストで指示できない細かい調整を行うことができる。これを拡張し、複数の画像で条件付けする手法がいくつか提案された。しかし複数の画像条件付けには以下の問題がある。
1. 入力の組み合わせによらない
2. 複雑な複数の空間条件の組み合わせでも生成できる
3. テ
【StableDiffusion】ControlNet anytestを使ってポーズを維持したイラスト作成してみた【ControlNet】
■記事の対象ユーザ
・サムネイル画像を作るのにキャラのイラストを入れたい
・でも絵が描けない
・3Dモデルもいじれない
・生成AIでどうにかできない？
■ようするに？
サムネ画像にあるようなポーズのメイキングを紹介していきます。
はじめに私はnoteの記事やYoutubeの動画などでサムネイルなどを作る時に
自キャラLoRAを使ってサムネ用イラストを作っているのですが、
ポーズに関してはワ
Leonardo AIのImage Guidanceの新機能（Style Reference）と新エレメント（Solarpunk)
はじめにLeonardo.AIが、4月20日に、Image Guidanceの新機能として、Style Referenceをアナウンスしました。これは、Stable DiffusionのControl Net技術を用いたもので、Leonardo.AIでは、Image Guidanceと呼んでいる機能の一つとなります。
また、4月22日に新しいElementとして、Solarpunkが追加されまし
【StableDiffusion Web-UI】SDXL環境を構築してANIMAGINE ＆ Pony Diffusionを 試したい！【環境構築】
■記事の対象ユーザ
１．StableDiffusion WebUI環境を構築してイラストを生成している
２．最近リリースされたANIMAGINE XL 3.0を試してみたいけどSDXL環境がない
３．どうせなら今話題のPony Diffusion V6 XLも･･･という欲張りさん
■ようするに？
・SDXL化自体は簡単
・ANIMAGINEはお手軽高性能だが高品質＝エッチと捉えている節があ
「AIイラストが理解る！」全記事一覧
こちらのページでは、画像生成AIの技術解説FANBOX「AIイラストが理解る！」シリーズの全記事をジャンル分けにして掲載しています。ちなみに「♡スキ」を押すと謎の感謝画像が出ます（ランダム三種）
・一覧性を高めるため、重要な記事以外のサムネイル画像は廃しています。
・太字の記事は、先に読んでおくことで理解が進む基本情報や総論記事です。項目ごとにできるだけ「重要順」「読んでほしい順」に並べています
ControlNetから手軽に出来るディープフェイクで話題になってる『IP-Adapter FaceID』も試してReActorとの違いを感じた夜
先日ディープフェイク機能が強化された「ReActor」をA1111版Stable Diffusion web UIで試しました。
↓その時の記事はこちら。
今回もディープフェイク機能ですが、今度はControlnetから手軽に調整できると話題になっていて気になった『IP-Adapter FaceID』を試してみることにしました。
controlnetの新機能なので、ReActorを使ったことが
ControlNetで一番手が正確に出やすいモデルを比較検証（SD1.5）
画像生成AIを使っていて、指がうまく出ないという悩みを持っている方は多いのではないでしょうか。
しかしそんなときにStableDiffusionで便利な機能が、ControlNet。コントロールネットはそんな悩みをある程度解消してくれる画期的な機能です。
とはいえコントロールネットを使ってもぱっと指の完璧な画像を生成してくれるわけではありません。
そこで今回は、コントロールネットのどの
diffusers で ControNet の inpaint を試す
「diffusers」で「ControNet」の「inpaint」を試したので、まとめました。
1. ControlNet の inpaint「inpaint」は、画像の一部をマスクして、任意の領域のみ新しい画像を生成させることができる機能です。
2. Colabでの実行「ControlNet」で「inpaint」を行う手順は、次のとおりです。
(1) パッケージのインストール。
# パッ
diffusers で ControlNet を試す
「diffusers」で「ControlNet」を試したので、まとめました。
1. ControlNet「ControlNet」は、「Stable Diffusion」モデルにおいて、新たな条件を指定することで生成される画像をコントロールする機能です。プロンプトでは指示しきれないポーズや構図の指定が可能になります。
2. ControlNetの更新履歴「diffusers」のControlNe
diffusers で IP-Adapter を試す
「diffusers」で「IP-Adapter」を試したので、まとめました。
前回1. IP-Adapter「IP-Adapter」は、指定した画像をプロンプトのように扱える機能です。詳かいプロンプトを記述しなくても、画像を指定するだけで類似画像を生成することができます。「Img2Img2」「ControlNet」「LCM-LoRA」など、diffusersの重要なパイプラインで利用できるように