見出し画像

【中級】Marigold(AI深度マップ生成)を使う

想定する読者

  • AI深度マップ生成を利用して Blender で使いたい人

  • Blender の基本的な操作ができる人

はじめに

Marigold(Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation)という手法を使うと、任意の画像からAIで深度マップを作成する事ができます。このソフトウェアを利用し、Blender から読み込む事で、写真やAI生成画像から3Dを作成する事ができます。2024年現在ではもっとも精度のよい深度マップ作成手法です。

はじめる

公式のリポジトリはこちら

webUI を利用されている人であれば、ControlNet の depth プリプロセッサから利用する事ができます。

webUI ControlNet

ただし、webUI 付属のものは詳細オプションを利用できませんので、解像度を上げたい場合は、公式レポジトリのものをコマンドラインで使う必要があります。

下記に各種AIソフトウェアのインストールをまとめています。

コマンドライン利用できる状態であれば、

 python run.py ^
--denoise_steps 4 ^
--ensemble_size 5 ^
--processing_res 0 ^
--resample_method bicubic ^
--input_rgb_dir "%~1" ^
--output_dir "%userprofile%\Desktop"

オプションで、より高品質な深度マップを作成できます。上記インストール方法では、ドラッグ&ドロップで利用できるバッチファイル例を載せていますので、任意の画像フォルダをドラッグ&ドロップするだけで、デスクトップに深度マップが作成できるようになります。

1280x1280 で深度マップ生成

画像と生成した深度マップを Blender で読み込みます。

Blender 読み込み
Blender テクスチャ読み込み

displace モディファイアを設定

displace modifier
Displace 押し出し

以上で終了です。お疲れ様でした。

いいなと思ったら応援しよう!