![見出し画像](https://assets.st-note.com/production/uploads/images/152421934/rectangle_large_type_2_fd4dc9021c2468fd3f524c317007f7b9.png?width=1200)
【すべてローカル】画像生成AI技術をBlenderで利用する③【中級】
はじめに
下記事の続きです。
3Dモデルを1枚の静止画(AI生成画像)から生成する
1枚の画像から3Dモデルを生成できるAI実装はネットサービスも含めていくつかありますが、まだまだ高品質と言えるものはないようです。それでも、およその形状を自動で生成してくれる利点は大きいと思います。
この記事では、生成した3Dモデルに手を加えて品質を向上させるアイデアを紹介します。
まずは、InstantMeshを利用して3Dモデルを生成します。
※ InstantMeshの導入方法は下記にて紹介しています。
InstantMeshで読み込むための静止画を、Stable Diffusionで生成しておきます。InstantMeshもSDを利用しているので、512x512または768x768程度の解像度が最も適しているようです。
![](https://assets.st-note.com/img/1724939221359-p69ijWHfsF.jpg)
![](https://assets.st-note.com/img/1724939265793-55X5r5tNXH.png?width=1200)
左上の欄に画像をドラッグ&ドロップして「Generate」を押すと、1分程度(RTX 3060)でOBJファイルが生成されます。
Blenderで読み込みます。デフォルト形式は頂点カラーなので、読み込むだけではグレーのメッシュのままです。下図のようにマテリアル設定すると頂点色が表示されます。
※ InstantMeshコマンドラインを利用すれば、出力を頂点カラーではなくテクスチャにできますが、その処理はBlenderで行うこととします。
![](https://assets.st-note.com/img/1724939780731-yHuMmZGjfa.jpg?width=1200)
形状や画質は良いとは言えないので、手作業で修正していきます。
まずは、AutoMirror機能拡張で左右対称にします。
![](https://assets.st-note.com/img/1724939497045-OJ2B0SzRNx.png?width=1200)
気持ち程度にスカルプティング機能で整形します。
![](https://assets.st-note.com/img/1724939553460-F1GSxOudww.png?width=1200)
基本的に解像度が非常に悪いので、再度Stable Diffusionで高精細化した絵を生成して、それをBlenderのテクスチャ・ペイント機能を利用して貼り付けます。
正面へカメラを配置し、正面画像とDepthマップを出力します。
![](https://assets.st-note.com/img/1724940146519-DenM8IfzpY.jpg?width=1200)
Depthマップを出力するには、「View Layer」の「Passes」の「Z」をチェックします。
![](https://assets.st-note.com/img/1724940320837-1qcgvjf1rp.png)
Compositingの設定
![](https://assets.st-note.com/img/1724940464658-EO6oINWN10.png?width=1200)
Stable DiffusionのControlNetとimg2img機能を利用して、高精細化した画像を生成します。
![](https://assets.st-note.com/img/1724940513297-i6FoRvSxP3.jpg?width=1200)
精細化したテクスチャを3Dモデルへ貼り付けるために、モデルのUV展開をしておきます。
![](https://assets.st-note.com/img/1724940947569-Lqq3pJxzEH.png)
![](https://assets.st-note.com/img/1724941000827-3XqxoI6cNN.png?width=1200)
次に、頂点カラーのままだと何かと不便ですので、テクスチャに変換します。「Bake」機能を利用します。
まずは、マテリアルのシェーダー・エディタでテクスチャを作成しておきます。
![](https://assets.st-note.com/img/1725121750254-7987ZLURpm.png)
この画像ファイル「tex03」へ頂点カラーを「Bake」します。
![](https://assets.st-note.com/img/1724941825987-OQa7WzKDvU.png)
Bake Typeを「Emit」にして「Bake」とすると、頂点カラーがそのままテクスチャへマッピングされます。
次に、Texture Paintモードで精細化画像をこのテクスチャ上に貼り付けます。Textureは「Stencil」にして、Falloffは一番シンプルなベタ塗りモード「Constant」にしておきます。
![](https://assets.st-note.com/img/1724941470182-uQfZDKQ942.png)
Stencilモードを利用して、画像をそのまま3Dモデルの表面へ上書き貼り付けします。
![](https://assets.st-note.com/img/1724942242911-CEpjohTQdq.png?width=1200)
精細化画像を貼り付けたのは正面だけなので、モデルの横はゴミが入ってしまうので、手動で修正します。
![](https://assets.st-note.com/img/1724942331019-3MyqNoNdji.png)
![](https://assets.st-note.com/img/1724942402539-vQO8XufBAT.png?width=1200)
あまり丁寧にしすぎるとAIを利用して自動生成した意味が無くなってしまうので、ほどほどにしておきます。
![](https://assets.st-note.com/img/1724942506711-9u2y7fVK6z.png?width=1200)
まとめ
少し端折りすぎたような気がしますので後で書き直そうと思います。(分量が増えて)まともになれば有料化したいと考えています。