BlenderでDepthを作成してStable Diffusionでテクスチャを作成して手軽にシーンをつくろう

自分のメモのために残します～

Bldenderで適当にモデリングをする

メイドインアビスをイメージして深い穴があるロケーションを作成してみました。なんでもOK！

Blenderから深度情報を得る

View Layer→Passes→ZをON

Rander→Rander Image
compositing→Use Nodesにチェック→ノードを以下のようにつなぐ

Render Image→Color Depth 16→Compression 0%でsave

Stable Diffusionで深度情報を元にテクスチャをつくる

Stable DiffusionでControlNet→EnableをON→Processorをnone→Modelをdepth

こんなプロンプトで作成してみました。

Blenderに作成した画像をカメラ投影で貼り付ける

Blender→全てのオブジェクトをEdit Modeで選択→X-RayをON→UV→Project from View

New Material→imageをノード接続→モデルの上でctrl＋LでLink Materialするとすべてのオブジェクトにテクスチャが適用されます。

ノードのSpecularを0→RenderのView TransformをStandard

以上で完成です。
参考動画