マガジンのカバー画像

Image Generation

157
運営しているクリエイター

#ComfyUI

【ComfyUI】商用利用可能なFLUX.1[dev]並のモデル登場!OpenFLUX.1を評価してみた

【ComfyUI】商用利用可能なFLUX.1[dev]並のモデル登場!OpenFLUX.1を評価してみた

画像生成AIの進化は止まりません。新たに登場した「OpenFLUX.1」は、すでに高評価を得ているFLUX.1-schnellモデルをベースに、「蒸留」を取り除いたことで、さらに高い柔軟性を持ったオープンソースのツールです。従来のモデルが持つ課題を克服しつつ、微調整(ファインチューニング)が可能な設計で、より高品質な画像をわずか数ステップで生成できます。

この記事では、OpenFLUX.1がどの

もっとみる
立体視出来るステレオ動画をComfyUIで生成する(mp4変換フロー):Xreal Air用

立体視出来るステレオ動画をComfyUIで生成する(mp4変換フロー):Xreal Air用

今回は表題通り、生成したAI動画をxreal airで立体視で見ることが出来るステレオ動画に変換する方法になります。

基本は、前回記事で取り上げたDepth anything2とNegitoolsを使用した方法を使います。

試しに、以前生成したAI動画をステレオ動画化してみたいと思います。
プロパティで、FPS、フレーム数を予め確認しておきます。

この動画だと、10FPSで60フレームでした

もっとみる
SDXLなどのモデルをfp8変換する!@paperspace&ローカルPC

SDXLなどのモデルをfp8変換する!@paperspace&ローカルPC

でんでんさんの記事を見てSDXLのfp8変換を試してみました。
スクリプトを公開いただき非常にありがたいです。
SDXLモデルをfp8に変換するのは難しいのかなと勝手に思っていましたので、色々と検証された結果も出されてとても勉強になりました。
公開いただいたスクリプトを参考にpaperspaceで使用するスクリプトを作成してみました。
ローカルPC用は自分向け(ものぐさ用)にカスタマイズしたもので

もっとみる
ComfyUI で FLUX.1 の画像生成とLoRAを試す

ComfyUI で FLUX.1 の画像生成とLoRAを試す

「ComfyUI」で「FLUX.1」の画像生成とLoRAを試したのでまとめました。

1. FLUX.1「FLUX.1」は、「Stable Diffusion」の開発者たちが立ち上げた「Black Forest Labs」が発表した最新の画像生成AIモデルです。

2. Fluxの画像生成Fluxの画像生成の手順は、次のとおりです。

(1) 「Stability Matrix」で「ComfyUI

もっとみる
Flux.1とかいう新しい画像生成AIのモデルのすばらしさを皆様にも知っていただきたい。試し方もあるよ!

Flux.1とかいう新しい画像生成AIのモデルのすばらしさを皆様にも知っていただきたい。試し方もあるよ!

※ この記事内の生成画像はすべて Flux.1 Schnell で生成した無加工品です

というわけで Flux.1 という新しい画像生成用のモデルが出てかなり面白い!っていう話です

例えばこんな感じの画像とかが簡単に作れます

ただし!
いわゆる美少女AIイラスト的な画像はたぶん満足いくレベルのものは作れません!

でも面白いから!美少女以外をたまには生成してもいいじゃない!

Flux.1

もっとみる
ComfyUI上でFLUX.1を使用するための補足(NF4,GGUF対応ほか)

ComfyUI上でFLUX.1を使用するための補足(NF4,GGUF対応ほか)

※ Last update 9-7-2024
※ (9-7) 分かりづらい場所があったので修正しました。
※ (8-15) XのGrokに搭載されたFLUX.1の生成機能についての記事を書きました。ご参考まで。
※ 主に「分割されたモデル(1.~2.参照)」「NF4モデル(3.参照)」「GGUFモデル(4.参照)」を使用するための情報を記載しています。「起動オプション(6.参照)」も載せてあります

もっとみる
ComfyUI上でFLUX.1のモデルを使用して画像の生成を試す

ComfyUI上でFLUX.1のモデルを使用して画像の生成を試す

※ Last update 8-13-2024
※ (8-20) NF4、GGUF形式のモデルや、分割されたモデルを使用する場合は、補足の記事も参照してください。
※ (8-19) 新しいモデル一覧の記事を公開しました(8-31更新終了)。
※ (8-15) XのGrokに搭載されたFLUX.1の生成機能についての記事を書きました。
※ 18枚の画像とプロンプトを、記事の最後に掲載しています。

もっとみる
Prompt_injection/ComfyUIを試してみた話

Prompt_injection/ComfyUIを試してみた話

今回は、この拡張機能を使って画像生成への効果について試してみました。
本家のものは別でフォーク版です。理由は不明ですが、こちらだとうまく動いたため、こちらを使用しています。

きっかけは、上の記事になります。
この記事では、「prompt_injection」を使用して、画像生成における階層の影響について検討していました。
いまだに十分は理解していませんが、モデルの階層別にプロンプトに対する反応の

もっとみる
ComfyUIでモデルとLoraのマージをしてみた。直感的で取っ付きやすい!

ComfyUIでモデルとLoraのマージをしてみた。直感的で取っ付きやすい!

モデルのマージについては初心者なのですが、ComfyUIで簡単に出来たので記事にしました。

モデルのマージについては、多くの方が記事を書かれていますのでそちらを参照して下さい。
今回は初心者の自分の備忘録的にやった内容を記載する感じになります。

この記事はLoraのマージになります。
やってみた印象としては、モデルのマージよりははるかに簡単なものだと感じましたので、ここからマージ系に入るのが良

もっとみる
Depth anything2/Negitoolsでステレオ画像を作成して立体視を試す/ComfyUI x Xreal Air

Depth anything2/Negitoolsでステレオ画像を作成して立体視を試す/ComfyUI x Xreal Air

Xreal Airは、「1920x1080」の画像をside by sideにしたものに対応しています。
通常の画像生成で1920x1080は若干厳しいと言わざる得ないサイズですので、「1280x720」で生成するのが良さそうです。

ノード項目の説明

①「Divergence」:深度のことのようです。デフォルトが5.00です。ただ、webui版は2.5がデフォルトです。

Divergence

もっとみる
モデル-CLIP入れ替え遊びをしてみた話:SDXL x CLIPで画像が変わる話@ComfyUI

モデル-CLIP入れ替え遊びをしてみた話:SDXL x CLIPで画像が変わる話@ComfyUI

これは、すでにやられつくされた内容かも知れませんが、あまり他の記事に出ていないような気もしたので、備忘録的な感じで記事にしています。

<モデル-CLIP入れ替え遊びを考えた理由>

SD3が登場した際に、CLIPが3つあることが紹介され、元モデルと別にダウンロードでき、CLIPとモデルを切り離せることを知りました。
また、Diffusers-multifolder形式のモデルだと、textenc

もっとみる
【ComfyUI】イラストにレイヤー構造を持たせて背景の削除などができる、layer diffusionを試してみた

【ComfyUI】イラストにレイヤー構造を持たせて背景の削除などができる、layer diffusionを試してみた

こんばんは!
AIイラストがレイヤーで管理できたら、live2dのモデルとかを簡単にイラストから作れるんじゃないかと調べていたら、レイヤー構造を持たせることができる拡張機能を見つけたので、早速試してみました!

ComfyUIをお持ちでない方は以下の記事をご覧ください!

拡張機能をインストールまずは拡張機能を検索してインストールしていきましょう。
拡張機能の検索項目で「layerdiffusio

もっとみる
Windows上のComfyUIでStable Cascadeを試す(推奨VRAM 8GB)

Windows上のComfyUIでStable Cascadeを試す(推奨VRAM 8GB)

Last update 2-25-2024
※VRAM 6GBでLiteモデルが、8GBでLargeモデルが利用できそうです(少々ギリギリかも)。
※本記事では実際の手順を示していますが、通常の記事よりも説明を省略しています。

▼ 0. 本記事について0-1. 概要

 現在、Stable Cascadeで生成を行う記事を2つ公開中です(後述)が、ComfyUIで生成する記事を見かけました。Co

もっとみる