空間AI白書 - 活用編その３

2023年12月16日 13:36

こんにちは。
NOI STUDIO の布井です。

NOI STUDIOでは、宮下さんと共に、建築分野での画像生成AI活用に関する研究をすすめてきました。大手の企業さまからお声かけ頂き、実務案件での活用提案も進めています。このあたりで一度、建築設計の文脈での活用に関する知見を一度まとめておこうと筆を執りました。特にstable diffusionに活用した内容になっています。
宮下さんによる空間AI白書と併せてご覧ください。

前提知識

画像生成とは

画像生成は、人工知能（AI）技術を用いて、新しい画像を生成するプロセスです。この分野では、機械学習アルゴリズムが大量の画像データからパターンを学習し、これを基にして新しい画像を作り出します。画像生成AIを使うことができるサービスは多々ありますが、機能の拡張性からstable diffusionを活用した事例をメインに紹介していきます。元画像はmidjourneyで生成してます。

stable diffusionの特徴

stable diffusionと他の画像生成AIを比較すると、その大きな違いはControlNetという技術の使いやすさにあります。ControlNetは、画像生成プロセスを制御するための技術です。生成される画像をより詳細に制御できるようになります。

ControlNetの種類

ControlNetには様々な種類が存在し、異なる機能と特性を持っています。これらの機能を組み合わせることで、AIを使ったさまざまな検討が可能になります。今回紹介する事例の中で主に活用したものを紹介します。

Inpainting: 画像の欠損部分を補完する技術です。ControlNetではInpaintという名前です。機能を適応させたい部分をマスクで指定し、画像を再構成します。不完全な部分を修復したり、新しい要素を追加することができます。

Canny: エッジ検出アルゴリズムであり、画像内の輪郭やエッジを強調することができます。全体の構図や配置を元画像から引き継ぎます。

Depth: 画像内の物体間の距離感を再現します。これにより、3Dのような効果やリアルな深度感のある画像が生成できます。Cannyのように境界線のデータを引き継がないので、ボリューム感のみ引き継ぐことができます。

Lineart: 画像を線画のスタイルで生成する機能です。スケッチやイラストなどで主に活用されます。Cannyよりも細かい線を抽出できることから、元画像の構図などをより正確に引き継ぎたいときに使います。

MLSD: 画像の直線情報のみを抽出します。おおまかな構図のみを引き継ぐ時に使います。

SoftEdge: 画像のエッジや境界線を柔らかくすることで、より自然な外観を持つ画像を生成する機能です。硬いエッジのない滑らかな外観を実現するのに役立ちます。MLSDとSoftedgeは、抽出した線情報以外の部分を自由に再生成しやすい特性があるため、バリエーションを出したい場面で有効です。