見出し画像

【ComfyUI】iPhoneのカメラを使ったリアルタイム画像変換

前回に続き、ComfyUIを利用し画像生成を行います。今回はリアルタイムでの画像変換についてご紹介します。
利用するComfyUIのカスタムノードは「ComfyUI_toyxyz_test_nodes」になります。残念ながらUbuntuですと、一部機能が使えません。(今回のご紹介する機能は使えます)

ComfyUI_toyxyz_test_nodesとは
Image To Imageで画像変更をしたい場合、Load Imageのノードを利用し、PCに保存された画像を取り込みます。このノードを利用すれば、Webカメラや画面キャプチャの画像を取り込むことができます。

iPhoneのカメラをWebカメラの代わりに利用
今回はDroidCamというアプリを利用しました。
(詳細はhttps://droidcam.app/を参照)

iPhoneのカメラを利用して画像取り込み

ノードの接続
Add Nodeで「image/Webcam Capture」を選択します。

WebCamのノード

画像変換の実行①:ゴッホ風
モデルはSDXL Refiner、テキストは「The style of Vincent van Gogh, vivid brush strokes」で実行しました。

モデルはFlux.1 dev、テキストは「The style of Vincent van Gogh, vivid brush strokes」

画像変換の実行②:🍏→🍎
モデルはFlux.1 dev、テキストは「red apple」で実行しました。

モデルはFlux.1 dev、テキストは「red apple」

画像変換の考察
「画像変換の実行①:ゴッホ風」はイメージ通りとなり、成功と言えるかと思います。
一方、「画像変換の実行②:🍏→🍎」は少し微妙で、色づきが悪い🍎ができてしまいました。実は何回か実行しましたが、殆どが🍏になりました。
色だけを変える場合、以前の記事のようにDepthを取り、色付けをする方が良さそうです。

【参考】 ComfyUIを活用した画像生成

いいなと思ったら応援しよう!