画像に照明効果を付与できるIC-LightをComfyUIで試してみる

ControlNetの開発者であるlllyasviel氏が画像に照明効果を付与できる「IC-Light」を作っていて、その性能のよさにXでも話題になったのでいじってみたいと思います！
こちらもControlNet同様オープンソース。素晴らしい🥳

プロジェクトページ

🌐プロジェクトページ類はこちら

IC Light - a Hugging Face Space by lllyasviel

早速いじってみる

デモのUIはこんな感じでした。

ドレスを着たねこちゃんで試してみたのですが、とても良い感じに変換されました！

ドラマティック〜〜〜

話題になっているだけあって使い方や特性を公開しているサイトも多かったですが、代表してgigazineを貼っておきます！

光源を指定して画像の背景を違和感なく変更できる生成AIツール「IC-Light」をControlNetの作者が公開したので使ってみた

Stable Diffusion WebUI Forge用のIC-light

なんとforge用のエクステンションを公開してらっしゃる方がいました。

インストールの解説動画も見つけたのでまたどこかでこちらは試してみたいと思います！

ComfyUIでもやってみた

目的のComfyUIのnodeを公開している方がいたので今回はこちらを試してみたいとおもいます。
これは製品写真用に調整された感じで、ライトを思い通りの場所につけるといったところを特に注力しているみたい。

Relight with IC-Light - Product Photography relight | ComfyUI Workflow | OpenArt

解説動画はこちら。

モデルにはもちろんlllyasviel氏のsafetensorsを使います。

lllyasviel/ic-light at main

早速試してみる

ComfyUIでのnodeを使ったやつはこんな感じでした！

洗練されたnode

これのいいところは、promptで生成した画像そのまま何もしなくてもIC-Lightが一連の流れで作られるところ。
テキストで画像生成ができて、その上このマスクのような白黒の画像を設定することによって思い通りの場所を明るくさせるという便利さ。

ライトをつけたい部分に効果が載せられる

色々試してみる

この後はためしてみた画像をいくつか載せておきます！

道端に置かれた花瓶も一気に物語を感じる画像に

どこかの海外の古風な建物も雰囲気マシマシ

ただのスノードームが何やら始まりそうな感じに

おしゃれなスムージーもナイトパーティー風に

ココナッツが古めかしく

ちょっと怖い感じも

夕焼けシャンパン

いかついドーナツ

盆栽だってこのとおり

この鳥は強い

バイクもなんだか強そう

なんだろ、暑そう

普通のイラストにもニュアンスが加わってます

このnodeでは合わない画像もあった

なお、ニュアンスを追加するうえでちょっと困りそうな場面も見受けられたので記載しておきます。
この茶色の猫ちゃんはとても雰囲気がよくアップデートされているのですが
…

茶色のにゃんこ

一方で、しっかりと白猫というままにしておきたいこちらの画像などは茶色のにゃんこになってしまいます。

しろにゃんこも茶色に

こちらの黒猫も白猫ほどじゃないけれど、ちょっと黒猫と呼ぶには難しい色使い。

まあ、物撮り用のnodeのようですので、動物とかは想定してないのでしょうね。そういう目的であればnodeを加筆修正するかしなきゃですね。

ミントが枯れちゃった

もう違う商品に

いやでも色々便利だな〜と思った今回でした！
今日はここまで〜！！