hakomikan

生成AIの研究を趣味でやってます。

hakomikan

生成AIの研究を趣味でやってます。

NegPiPの仕組みとFLUX対応

　FLUXは表現力が高いのですが、ネガティブプロンプトが使えないのはとっても困ります。ネガティブプロンプトを導入するためにはCFGを有効にする必要があるわけですが、生成時間が2倍になってしまいます。ただでさえ長い生成時間が2倍になるのは厳しいですね。そこでNegPiPの仕組みが使えないかと考えるわけです。 　NegPiP(Negative Prompt in Prompt)はStable Diffusion 1.X, 2.X向けに私が考案した手法です。原理上、ネガティブプロ

hakomikan

    • Fluxのモデルマージ

      　ご無沙汰しております。ちょっと離れている間にいろいろな事が起きているようで何とか追いつこうとしているところです。とりあえずは溜まっているissueとかに対応しつつ、新技術を触ったりしています。SD3はマージ機能を作る前になんか黒歴史化してしまっているようでして、ここではその後に出てきて話題になっているFluxのマージについて研究してみます。 　現行のWeb-UIではFluxは使えないので、対応しているForge用にSuperMergerを改造します。とりあえずは階層マージ

      hakomikan

      • Stable Cascadeを触ってみつつ、サンプルコードを改良してVRAM消費を抑える

        　StabilityAIから新しいText to ImageモデルStable Cascadeが発表されました。XLの正式公開が2023年7月26日なので半年しか経ってません。そして全く互換性がありません。XLのブーム始まったばかりなのに早いって。 　というわけで生成してみます。一応生成までの道のりを記しておきます。 1．ローカルへのインストール コマンドプロンプトで適当なフォルダに赴き、git cloneを実行。gitが入ってない場合はgithubからzipをダウンロー

        hakomikan

        • Stable Diffusion XLで生成画像の破綻が起きる問題の解析と対策

          　Animagine XL V3が出始めた辺りから、特定のプロンプトを入力すするとアーティファクトが出てくると言う話がポツポツと聞こえてきました。アーティファクトって言われると古代兵器を思い浮かべてしまうわけですが、ここでいうアーティファクトというのはノイズではないけれどなんか変な画像という意味ですね。 　細けぇ事はいいんだよ解決方法だけ教えろという方は最後の方にある説明を読んで下さい。 　入力するプロンプトの順番や強度を入れ替えると出てきたりするが、発生条件が解らないと

          hakomikan

          デルタもんを例にキャラクターLoRAを作る

          　TrainTrainのLoRA作りについてチュートリアルを作ろうかと思っていたところで、AIに限り制限無く使用可能なキャラクター「デルタもん」が発表されました。大変素晴らしく面白い試みですね。早速デルタもんちゃんを例にしてLoRAを作ってみましょう。 　提供されている画像は前後2枚だけなのでLoRAを作ろうとすると教師画像が足りません。この対処法はいくつかあります。まず2枚でLoRAを作り、LoRAを使って画像を生成して、うまく生成できた画像でもう一度学習をするという蒸留

          hakomikan

          デルタもんを例にキャラクターLoRAを作る

          hakomikan

          LECOの学習を高速化する

          　こんにちは。READMEで書くには長そうだったのでこっちに書いてみます。Stable Diffusionの概念を消す/強調するLECO(Low-rank adaptation for Erasing COncepts)の学習時間を短縮する方法について解説します。 　LECOはPlat氏によって提案された学習手法で、Stable Diffusionのモデルから概念を除去する手法ESDをLoRAに落とし込んだものです。LECOで作られたLoRAはモデルから特定の概念を消去でき

          hakomikan

          LECOの学習を高速化する

          hakomikan