【中級】Marigold(AI深度マップ生成)を使う
想定する読者
AI深度マップ生成を利用して Blender で使いたい人
Blender の基本的な操作ができる人
はじめに
Marigold(Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation)という手法を使うと、任意の画像からAIで深度マップを作成する事ができます。このソフトウェアを利用し、Blender から読み込む事で、写真やAI生成画像から3Dを作成する事ができます。2024年現在ではもっとも精度のよい深度マップ作成手法です。
はじめる
公式のリポジトリはこちら
webUI を利用されている人であれば、ControlNet の depth プリプロセッサから利用する事ができます。
ただし、webUI 付属のものは詳細オプションを利用できませんので、解像度を上げたい場合は、公式レポジトリのものをコマンドラインで使う必要があります。
下記に各種AIソフトウェアのインストールをまとめています。
コマンドライン利用できる状態であれば、
python run.py ^
--denoise_steps 4 ^
--ensemble_size 5 ^
--processing_res 0 ^
--resample_method bicubic ^
--input_rgb_dir "%~1" ^
--output_dir "%userprofile%\Desktop"
オプションで、より高品質な深度マップを作成できます。上記インストール方法では、ドラッグ&ドロップで利用できるバッチファイル例を載せていますので、任意の画像フォルダをドラッグ&ドロップするだけで、デスクトップに深度マップが作成できるようになります。
画像と生成した深度マップを Blender で読み込みます。
displace モディファイアを設定
以上で終了です。お疲れ様でした。