初心者ボーナスが終わり飽きてきたのでチェックポイントについて学び始める | AI初心者 | 100日でComfy UIをマスターする備忘録 | ＃6日目

2025年2月9日 21:04

実際，Comfy UIをダウンロードしてからはちょうど1週間（7日）だけど，noteに自分のメモを記録し始めたのは2日目から．（多分）
1週間前はダウンロードしたばっかりで，まだAkumaとか他の無料クレジットで生成した画像で楽しんでた余韻が残っていたから勢いよく楽しめたけど．．．そう上手くやる気が続くわけもなく，4日目くらいから迷走してきてついに飽き始めていた．．．
難しいからこそ飽きてしまいがちだけど，ここでちょっとでも楽しい方向で続けられたら．．．！
いいところを褒めて伸ばそうスタイルで．

というかまだ1週間なのか．AIで画像生成し始めてから，1ヶ月経ってしまうともうそんなか〜と思うけど，1ヶ月の中盤くらいだと，え，まだ半分もあんの？？？まじ？？？ってなる．楽しい証拠かな！
もう1ヶ月くらいめんどくさい・わかんない・やってもどうせできないって少し先の成長した自分の未来を想像せず（3期はよ来い）にうだうだしてそうだったのに，少しは成長したのかな〜．
でも，めんどくさくて後回しにしていた仕事もこの土日にはやらずに放置してしまったのであ〜〜〜〜〜〜〜〜〜やだな〜〜〜と自業自得．

うだうだ言ってないでさっさと始めましょう．ね．

Fluxをダウンロードしたつもりなんだけど・・・

できてなかった〜？チェックポイントに出てこない．なんでだろう

↑よく見たら，Checkpoint Trainedってなってる！どういうこと・・・？
よくわかんないのでChat GPTに質問すると，

Checkpoint Trained と Checkpoint Merge の違いCheckpoint Trained（学習済みチェックポイント）
これは最初からトレーニングされたモデルのことを指します。
例えば、Stable Diffusionの公式モデルや、特定のデータセットで学習されたカスタムモデルが該当します。
データセットや学習方法によって異なるスタイルや特徴を持ちます。
Checkpoint Merge（マージ済みチェックポイント）
これは既存の複数のモデルを合成して作られたモデルです。
トレーニングは行わず、異なる学習済みモデルのウェイトを合成して新しいスタイルや特性を持つモデルを作成します。
比較的簡単にオリジナルのスタイルを作ることができますが、元のモデルの特性をうまく引き出すには工夫が必要です。
Weighted Merge（加重マージ） や Block Merge（部分マージ） などの手法が使われることがあります。

Chat GPT先生ありがとう！

ほう，ということは今までとは別の方法でチェックポイントを引っ張り出すのか？あるいはダウンロードするものを間違えているか・・・

昨日ダウンロードした新しいLoRAで生成してみよう（メモパート）

checkpoint: animagine XVL
LoRA: Anime_Screencap_Enhancement-v1, Vivid_Impactful_Style_4g
prompt1:
masterpiece, best quality, amazing quality, very aesthetic, absurdres, newest, (scenery, volumetric lighting),
1girl, silverhair, short hair, blue eyes, smiling, singing, playing base, holding base, black jacket, black short pants, black boots,
blue theme
glass stage, stend-glass floor, arena hall, stained-glass-v1-000002:0.5
from below, wide shot, volumetric lighting, refrected glass, neon clor refrection,
(masterpiece, best quality, amazing quality, very aesthetic, absurdres, newest)
fine_ascxl, anime screencap
vvi(artstyle), vvi(face), vvi(eyes), vvi(oa)
prompt2:
masterpiece, best quality, amazing quality, very aesthetic, absurdres, newest, (scenery, volumetric lighting),
1girl, silverhair, short hair, blue eyes, smiling, singing, playing base, holding base, black jacket, black short pants, black boots,
blue theme
glass stage, stend-glass floor, arena hall,from below, volumetric lighting, refrected glass, neon clor refrection,
fine_ascxl, anime screencap
vvi\(artstyle\), vvi\(face\), vvi\(eyes\), vvi\(oa\)
prompt3:
masterpiece, best quality, amazing quality, very aesthetic, absurdres, newest, (scenery, volumetric lighting),
1girl, silverhair, short hair, blue eyes, smiling, playing base, holding base, black jacket, black short pants, black boots, standing on the stage,
pink theme,
a big monitor over the head, huge hall with colorful spot light,
from below, volumetric lighting, refrected glass, neon clor refrection,
fine_ascxl, anime screencap

このほかにも2個くらい試したけどサイボーグが生成されただけ．
わーーーーダウンロードしたーーー！楽しみやるぞーーーーーー！
っていう勢いで色々LoRAとかダウンロードしてみたけど，一旦落ち着こう．1個の昨日でクオリティいいもの作れるようになろう．

なんか全然うまくいかないので・・・

今までとりあえずプロンプト入れてぽちぽちしてただけだったからちゃんと説明書読もう・・・

まずは，Animagine XL V3.1から．
色々説明書を読んでいくと，LoRAにも得意なサイズとかあるから，どれが当てはまるのか無限通りの組み合わせから探さないといけないのか・・・こりゃ大変だけどハマった時感動するだろうな〜
今更になった読んだけど，曖昧な時代区分とかもちゃんとプロンプトが１対１対応するように定義してんだ・・・すごい

＜Kサンプラーの設定などなど＞
it’s recommended to use a lower classifier-free guidance (CFG Scale) of around 5-7, sampling steps below 30, and to use Euler Ancestral (Euler a) as a sampler.
→cfgは５〜７，ステップ数は30以下，サンプラーはEuler Ancestral

＜Dimensions Aspect Ratio→画像のサイズ比＞

1024 x 1024 1:1 Square
1152 x 896 9:7
896 x 1152 7:9
1216 x 832 19:13
832 x 1216 13:19
1344 x 768 7:4 Horizontal
768 x 1344 4:7 Vertical
1536 x 640 12:5 Horizontal
640 x 1536 5:12 Vertical

masterpiece, best quality, amazing quality, very aesthetic, absurdres, newest, (scenery, volumetric lighting),
1girl, silverhair, short hair, blue eyes, smiling, playing base, holding base, black jacket, black short pants, black boots, standing on the stage,
pink theme,
a big monitor on the back of player, huge hall with colorful spot light,
from below, volumetric lighting, refrected glass, neon clor refrection,
fine_ascxl, anime screencap

チェックポイントのページから，お気に入りの画像を見つけてLoRAや生成の仕方を学ぼう

至極当たり前なことを言っているけど，全部人の真似してても・・・と思うし，最初はテンション上げてわーーーと色々試しがちなので．
早速見つけたお気に入りから，お目目👀のLoRAをダウンロードしよう．

↑目が綺麗と思ったら発見

↑Embeddingってなんだろう・・・？と思って調べたら，自然言語をベクトルに変換する処理のことらしい．これ使えば私の意味不明なプロンプトを綺麗に書き換えてくれるということかしら・・・．使ってみたい機能増えた・・・（一生終わらん）

Ponyはよく見るな・・・ということはこれも必要そう．ダウンロードポチッと

お，ネオンはこれでいけるかも
ガラスの反射とかスポットライトとかをプロンプトに入れて，全体的な色味をネオン系にする感じか？

ひとまずこの辺にして・・・
色々生成してみよー

Animagine XL V3.1をいろんなLoRAで組み合わせてみた

LoRA: Single bare shoulder shirt
step: 28
cfg: 6.0
sampler: euler_ancestral
prompt:
masterpiece, best quality, amazing quality, very aesthetic, absurdres, newest, (scenery, volumetric lighting),
1girl, silverhair, short hair, blue eyes, smiling, playing base, holding base, white shirts, black short pants, black boots, standing on the stage,
pink theme,
a big monitor on the back of player, huge hall with colorful spot light,
from below, loolong down viewer, colorful lighting, refrected glass, neon clor refrection,
single bare shoulder shirt long, single bare shoulder shirt short

お次はこちらでお試し

LoRA: Single bare shoulder shirt(1.0), Neon_Environments-SDXL(0.7)
step: 28
cfg: 6.0
sampler: euler_ancestral, natural
prompt:
masterpiece, best quality, amazing quality, very aesthetic, absurdres, newest, (scenery, volumetric lighting),
1girl, silverhair, short hair, blue eyes, smiling, playing base, holding base, white shirts, black short pants, black boots, standing on the stage,
pink theme,
a big monitor on the back of player, huge hall with colorful spot light,
from below, loolong down viewer, colorful lighting, refrected glass, neon clor refrection,
single bare shoulder shirt long, single bare shoulder shirt short

Neon_Environments-SDXLはプロンプトに指定の単語を入れなくていいらしい．
ということは，自動で画像全体をカラフルにしてくれるのだろうか？

おおお！だいぶいい感じ！予想通り，画面全体の光るところをネオンにしてくれる感じらしい

LoRA: Single bare shoulder shirt(1.0), Neon_Environments-SDXL(0.7), PerfectEyesXL
step: 28
cfg: 6.0
sampler: euler_ancestral, natural
prompt:
masterpiece, best quality, amazing quality, very aesthetic, absurdres, newest, (scenery, volumetric lighting),
1girl, silverhair, short hair, blue eyes, perfecteyes, smiling, playing base, holding base, white shirts, black short pants, black boots, standing on the stage,
pink theme,
a big monitor on the back of player, huge hall with colorful spot light,
from below, loolong down viewer, colorful lighting, refrected glass, neon clor refrection,
single bare shoulder shirt long, single bare shoulder shirt short

ところで，楽器を上手に生成するLoRAはないのかしら・・・
楽器のディティールも細かく書いたらいいのかな．その辺りも調べたい．
ところで顔があんまりアップにならないとせっかくの目のプロンプトが映えないんじゃないかと思いこちらを参考に．
勝手な予想だけど，一つの要素（顔・服装・背景・クオリティ）につき2つ以上の強調とか指定があると狂いそう．人間もあれもこれも言われてもなんもできないもんな〜

LoRA: Single bare shoulder shirt(1.0), Neon_Environments-SDXL(0.7), PerfectEyesXLstep: 28cfg: 6.0sampler: euler_ancestral, naturalprompt:
(masterpiece, best quality, amazing quality, very aesthetic, absurdres, newest, scenery, volumetric lighting),
1girl, silverhair, short hair, (blue eyes, perfecteyes), singing, (holding and playing base), white shirts, black short pants, standing on the stage,
pink theme,
a big monitor on the back of player, huge hall with colorful spot light,
from below, loolong down viewer, colorful lighting, refrected glass, neon clor refrection,
single bare shoulder shirt long, single bare shoulder shirt short

今気づいたけど，最後は短いか長いかどっちかで良かったのか．ま，いっか．

縦画像で全身大きく映るようにするか，顔にアップする方が良さそう！
持っている布なのか指なのかわからんパーツは見なかったことに・・・

LoRA: pony_ani31_6_adamW-000021(1.0), Neon_Environments-SDXL(0.7), PerfectEyesXL
step: 28　cfg: 6.0　sampler: euler_ancestral, natural
prompt:
(masterpiece, best quality, amazing quality, very aesthetic, absurdres, newest, scenery, volumetric lighting),
1girl, silverhair, short hair, (blue eyes, perfecteyes), singing, (holding and playing base), white shirts, black short pants, standing on the stage,
pink theme,
a big monitor on the back of player, huge hall with colorful spot light,
from below, loolong down viewer, colorful lighting, refrected glass, neon clor refrection,

うわぁぁぁぁ！！！やったー🙌 画質も見た目もいいんじゃない？？
作りたかった画像とはちょっと違うけど，うまくいって嬉しい〜！
やっぱり，目のプロンプトを使う時は顔がある程度アップになるように画角の指定が必要かな．

でもやっぱり楽器の生成は難しそう．また色々調べてみるかな〜
一旦満足したので今日は終了．明日からまた頑張りますかね〜