マガジンのカバー画像

Image Generation

157
運営しているクリエイター

#AI

【ComfyUI】商用利用可能なFLUX.1[dev]並のモデル登場!OpenFLUX.1を評価してみた

【ComfyUI】商用利用可能なFLUX.1[dev]並のモデル登場!OpenFLUX.1を評価してみた

画像生成AIの進化は止まりません。新たに登場した「OpenFLUX.1」は、すでに高評価を得ているFLUX.1-schnellモデルをベースに、「蒸留」を取り除いたことで、さらに高い柔軟性を持ったオープンソースのツールです。従来のモデルが持つ課題を克服しつつ、微調整(ファインチューニング)が可能な設計で、より高品質な画像をわずか数ステップで生成できます。

この記事では、OpenFLUX.1がどの

もっとみる
Google Colab で Flux の ControlNet を試す

Google Colab で Flux の ControlNet を試す

「Google Colab」で「Flux」の「ControlNet」を試したのでまとめました。

前回1. ControlNet「ControlNet」は、「Stable Diffusion」モデルにおいて、新たな条件を指定することで生成される画像をコントロールする機能です。プロンプトでは指示しきれないポーズや構図の指定が可能になります。

今回は、「InstantX」提供の「ControlNet

もっとみる
ComfyUI で FLUX.1 の画像生成とLoRAを試す

ComfyUI で FLUX.1 の画像生成とLoRAを試す

「ComfyUI」で「FLUX.1」の画像生成とLoRAを試したのでまとめました。

1. FLUX.1「FLUX.1」は、「Stable Diffusion」の開発者たちが立ち上げた「Black Forest Labs」が発表した最新の画像生成AIモデルです。

2. Fluxの画像生成Fluxの画像生成の手順は、次のとおりです。

(1) 「Stability Matrix」で「ComfyUI

もっとみる
Google Colab で Flux のLoRAファインチューニングを試す

Google Colab で Flux のLoRAファインチューニングを試す

「Google Colab」で「Flux」のLoRAファインチューニングを試したのでまとめました。

1. AI Toolkit by Ostris今回は「AI Toolkit by Ostris」で「Flux」のLoRAファインチューニングを行いました。

2. 学習データの準備今回は、「東北ずんこ・ずんだもんプロジェクト」で提供されている「画像学習用データ」を使います。

(1) 「東北ずんこ

もっとみる
Quanto と Diffusers による Diffusion Transformers のメモリ削減

Quanto と Diffusers による Diffusion Transformers のメモリ削減

以下の記事が面白かったので、簡単にまとめました。

1. はじめにここ数か月間、高解像度のText-to-Image (T2I) にTransformerベースのdiffusionバックボーンが使用されるようになりました。これらのモデルは、初期のdiffusionモデルの多くで普及していたUNetアーキテクチャではなく、diffusionプロセスの構成要素としてTransformerアーキテクチャ

もっとみる
Google Colab で FLUX.1 を試す

Google Colab で FLUX.1 を試す

「Google Colab」で「FLUX.1」を試したので、まとめました。

1. FLUX.1「FLUX.1」は、「Stable Diffusion」の開発者たちが立ち上げた「Black Forest Labs」が発表した最新の画像生成AIモデルです。

2. FLUX.1 [dev]「Google Colab」でのFLUX.1 [dev] (ガイダンス蒸留モデル) の実行手順は、次のとおりです

もっとみる
FLUX.1 の概要

FLUX.1 の概要

「FLUX.1」の概要をまとめました。

1. FLUX.1「FLUX.1」は、「Stable Diffusion」の開発者たちが立ち上げた「Black Forest Labs」が発表した最新の画像生成AIモデルです。

2. FLUX.1 のモデル「FLUX.1」には、アクセシビリティと機能のバランスをとるために、FLUX.1 [pro]、FLUX.1 [dev]、FLUX.1 [schnell

もっとみる
【StableDiffusion】VRoidからつくる衣装LoRA制作メモ【データセット付き】

【StableDiffusion】VRoidからつくる衣装LoRA制作メモ【データセット付き】

■記事の対象ユーザ
1.SDXLのLoRAを作っている(=つよつよグラボを持っている)
2.衣装LoRAを作ってみたが上手く行かない
3.データセットとキャプションをどうしたら良いか判らない

■ようするに?

はじめにちょっと前に「コピー機学習法」による差分LoRA作りの記事で書いたことで
「おで、LoRA、すこしわかる」程度になった気でいたんだけど、調子に乗って同じ感覚で服LoRAにも挑戦した

もっとみる
A letter from Japanese animators to CG/AI researchers around the world. / Problems with using AI inJapanese anime. SIGGRAPH2024

A letter from Japanese animators to CG/AI researchers around the world. / Problems with using AI inJapanese anime. SIGGRAPH2024

This document reveals the challenges of utilizing generative AI in the Japanese anime production environment, as identified by a survey conducted by the Digital Content Association of Japan (DCAJ). By

もっとみる
【画像生成AI】 自然な文章で思い通りの画像生成を実現する最先端モデル『Kolors』を試してみた

【画像生成AI】 自然な文章で思い通りの画像生成を実現する最先端モデル『Kolors』を試してみた

Stable Diffusionでの画像生成の欠点は、生成したい画像の情景をカンマ区切りのタグで入力するので、思った通りの画像を生成できないことでした。
この問題の解決に繋がる研究成果がKuaishou Technologyよりもたらされました。Kuaishouは、GML (General Language Model)を用いて、英語と中国語の理解力が強化されたモデル『Kolors』を発表しました

もっとみる
【新モデル】Animagineの後継モデルが新登場!「kivotos xl 2.0」と「holodayo xl 2.1」の使い方を解説

【新モデル】Animagineの後継モデルが新登場!「kivotos xl 2.0」と「holodayo xl 2.1」の使い方を解説

SDXLアニメ時代を開拓した伝説のモデル「Animagine」を開発したLinaqrufさんが新モデルをアナウンスしました。
その名は「kivotos xl 2.0」と「holodayo xl 2.1」です。

モデルリンクモデルの概要kivotos

このシリーズは「ソシャゲ」キャラを正確に再現することに特化したAnimagineの追加学習モデルです。
特に2.0では「Blue Archive」

もっとみる
VRCモデル改変キャラクターLoRA作成手順(AI実験/2024年6月)

VRCモデル改変キャラクターLoRA作成手順(AI実験/2024年6月)

VRC用モデル改変キャラクターのLoRAを作成する手順の紹介です。

今回の目的VRCで使用している自分のキャラクターのAIイラストを生成できるようになります。

前提条件※「すでに改変済みの自分の3Dアバターがある方」向けの内容になります。
【使用ツール】
●Stable Diffusion (webui A1111)*1
●Transparent-Background*2
●Kohya_LoR

もっとみる
目次-AI呪文の検証&比較メモ-

目次-AI呪文の検証&比較メモ-

ないとめあしーぷの水野くろです。生成呪文検証&比較と書いてありますが、完全に個人的な検証用のメモなので情報の更新に関しては非常に不定期となります。これが使えるよ!みたいな比較サイトではなく個人的な検証メモです。関係性のある単語→翻訳→生成し反映具合を確認するなど興味本位で色々な呪文を検証予定のため使う使わないは自己責任でお願いします。見に来ていただいた方向けに特設コーナー作成予定です。

【注意】

もっとみる
CLIP Text Deprojectorを使って画像生成してみる ~MLPの利用~

CLIP Text Deprojectorを使って画像生成してみる ~MLPの利用~

しばらく更新が滞っていましたが、再開します。

前回、大幅に簡略化した新しいアーキテクチャを提案しました。今回は、モデル中の線形変換をMLPに置き換えて、性能が向上するかを検証します。

前回の記事

他のStable Diffusionの関連記事

Layered Diffusion Pipelineを使うためのリンク集

ライブラリの入手先と使用法(英語) : Githubリポジトリ

日本語

もっとみる