wd-vit-large-tagger-v3の暫定的な使用方法
この記事の対象について
・AUTOMATIC1111（あるいはforge）のエクステンションを導入方法を知っている人
・LoRA作りにおいて画像のタグ付けをしたことがある人
・正式じゃない方法でも新しいタグ付けモデルを使ってみたいという人
wd-vit-large-tagger-v3について
つい先日（2024年7月27日）の事ですがwd-vit-large-tagger-v3という新たなTaggerが登場したようです。
このモデルはwd14（booru語系）のモデルであり、おそらく既にあるwd-vit-tagger-v3のパラメーター数を強化したものという位置づけだと思われます（vit-v3の379MBに対してvit-large-v3は1.26GBと大増量）
TaggerはLoRA作りをする人にとっては言うまでもなく必須のアイテムであり、またComfyUIでは入力画像に対して自動的にタグ付けをしてそのプロンプトをベースにControlNetを介し画像の再生成をするようなワークフローも多く見受けられます。
最近ではAI-Assistantといった作画補助用のソフトで読み取った画像にプロンプトを付けることによって生成する画像の精度を上げるなど、良質なタグ付けモデルは生成AIのエコシステムにおいて不可欠な存在になりつつあります。
このwd14系統のタグ出しモデルは
・wd-convnext-tagger-v3、wd-swinv2-tagger-v3、wd-vit-tagger-v3が2024/3/17に
・wd-v1-4-swinv2-tagger-v2が2024/5/16に
とこのように精力的にアップデートが行われている最中。
羨ましい事です、というかe621系のモデルにももっと頻繁な更新を……。
などと愚痴はともかく要点に入りましょう。
「で、どうやって使うのよ？」
正式な方法については「タグ出し用のエクステンションやらその他のアップデートを待て」という事になりますが、今回はあくまで暫定的な方法のみ紹介します。
まずこちらのエクステンションは入ってる前提とします
GitHub - picobyte/stable-diffusion-webui-wd14-tagger: Labeling extension for Automatic1111's Web UI
１．[AUTOMATIC1111のインストールフォルダ]\extensions\stable-diffusion-webui-wd14-tagger\tagger
を開きます。
２．"utils.py"をコピーして"utils.bak"にリネームします（念の為）
３．"utils.py"を開いて
interrogators: Dict[str, Interrogator] = の欄に
'wd14-vit-large.v3': WaifuDiffusionInterrogator(
'WD14 Vit large v3',
repo_id='SmilingWolf/wd-vit-large-tagger-v3',
),
と書き加えます。
４．AUTOMATIC1111 web-uiを再起動します。
５．成功すればエクステンションのタブに以下のように"WD14 ViT large v3"が追加されてます。
※もし更新に失敗した場合は"utils.bak"を”utils.py"にリネームして再起動してください。
６．モデルは [Interrogate image] を押したタイミングでダウンロードされます。
それでwd-vit-large-tagger-v3の使用感についてはですが、ちょっと使ってみただけでは、特にタグ出しに問題を感じる箇所はありませんでした。
ただ従前どおり holding といった闇鍋タグを当たり前のように吐き出してしまいますし、一方で服装や武器・防具類などはより具体的なタグに踏み込んで識別できているように思えます。(moat v2の頃からブルーアーカイブ等の影響？で結構具体的な銃器の種類や名前などはタグで出るようになっていたりした）
おそらくモデルとしては順当に強化されているのではないでしょうか。
また流行りのアニメキャラの識別はしっかり出来ているようで、おそらくこういったトレンドのキャッチアップも今後の更新方針になっていくように思えました。
なお今後も同系統のモデルが更新された場合は、おそらくこの方法でメニューに追加できると思うので、公式での対応を待てない人はこのやり方を覚えておくと良いと思います。ただし自己責任で。
（おまけ）ComfyUIでの追加方法
pythongosssss/ComfyUI-WD14-Tagger でのケースですが、
[ComfyUIのインストールフォルダ]\custom_nodes\ComfyUI-WD14-Tagger\models に
・SmilingWolf/wd-vit-large-tagger-v3 の model.onnx を wd-vit-large-tagger-v3.onnx にリネーム
・selected_tags.csv を wd-vit-large-tagger-v3.csv にリネームしてそれぞれ配置。
これでいけました、一応。