ContorlNetとライセンス、フォローしておくべきアカウント

2023年4月27日 16:55

どうも！Hi君です！
今回はHIKE Tech note（仮）の投稿3回目。
Stable DiffusionでControlNetをいろいろ試しながらわかったことをお届けします！

動作環境

今回は、以降の動作確認については以下の環境で行いました。
・inahoomen-OMEN-by-HP-Laptop-17-an0xx
・Ubuntu-20.04(5.15.0-60-generic)
・CUDA v11.7(SDの一部ツールが11.6以上推薦になっている)

SD + ControlNetを使ったポーズ指定付きtxt2img画像生成

下の記事などを参考にしながら検証してみます。

Open Pose Editor

・「Open Pose Editor」はSDのExtensionsの一つ。
・Interactiveにポーズを生成でき、またjson形式でファイル保存する事も出来ます。

{
    "width": 512,
    "height": 512,
    "keypoints": [
        [
            241,
            77
        ],
        [
            241,
            120
        ],
        [
            191,
            118
        ],
        [
            177,
            183
        ],
        [
            163,
            252
        ],
        [
            298,
            118
        ],
        [
            317,
            182
        ],
        [
            332,
            245
        ],
        [
            225,
            241
        ],
        [
            213,
            359
        ],
        [
            215,
            454
        ],
        [
            270,
            240
        ],
        [
            282,
            360
        ],
        [
            286,
            456
        ],
        [
            232,
            59
        ],
        [
            253,
            60
        ],
        [
            225,
            70
        ],
        [
            260,
            72
        ]
    ]
}

・AGPL-3.0 license

・Apache-2.0 licens

・非商用ライセンス

・BSD 3-Clause License

・ Apache-2.0 license, kohya_sさん版のLoRA

・AGPL-3.0 license, 上のリポジトリのコードで学習したLoRAモデルをSD上で読み込むためのスクリプト

・画像生成AI「Stable Diffusion」のLicense要約を和訳して読む
https://note.com/iwaken71/n/n1e78353f5bea

フォローしておくべき方々

note

この方々の記事が色々参考になると思います。
・npakaさん

・Kohya S.さん

技術的な事を結構つぶやいている人など

Kohya Techさん

うみゆき@AI研究さん

布留川英一 / Hidekazu Furukawaさん

どこかのFくんさん

toyxyzさん

Twitterを見ている中で気づいた事等

小物や手足指など、制御が利きにくい対象は、cannyやsurface normal or depth情報を付与してControlnetに入れている例をちらほら見かけます。

Multi ControlnetでCanny＋Depthのテストです
アクセサリー、腕章、ボタン、意匠が凝らされた剣などAIが苦手な小物にのみCannyを適用してみました
腕章の模様以外はまずまず期待通りの動作をしてます

映像はヘルエスタセイバーを引き抜けないリゼ様です
MMDモデルはこんにゃく様作#b3d #aiart pic.twitter.com/AAAziptoG7
— TDS (@TDS_95514874) February 28, 2023

This time I added the feet to the openpose bones for Blender. #stablediffusion #AIイラスト #pose2image #canny2image pic.twitter.com/ALePHVe74d
— toyxyz (@toyxyz3) February 27, 2023

その他

今週は色々わかった気がします。情報整理しないと！

バックエンドの理論面や歴史的経緯が記載されています↓
DiffusionによるText2Imageの系譜と生成画像が動き出すまで

文：Hi君
協力：inaho株式会社