画像生成AI（Krita）でプロポーザル提案書のイメージパースを生成してみる（その1）
以前ポストした、「Kritaで線画から建築パースを生成してリアルタイムで点景を加える」の続きです。今回は、プロポーザル提案書などに掲載するイメージパースを画像生成AIで作成するシナリオとして、以下の様な手順を考えてみました。
Kritaによるイメージパース生成の大まかな手順
手書きスケッチ、BIMソフトなどから線画パースを作成
設計初期では、BIMモデルに適切なマテリアルが設定されていないことがあり、レンダリングしても綺麗な絵にならない。だからと言って、マテリアルを設定して複数のデザインを検討するのは手間がかかるので、そういう面倒なことはAIに任せます。Kritaで線画パースからイメージパースのベース画像を生成
どのような作風（水彩画風など）にするかを決め、イメージパースの元となるベース画像を生成（Generate）します。Revitの場合はKritaの代わりにVerasなどを使うと便利です。しかし、気に入った画像を生成するためには、従来通り、画像生成モデルやプロンプトの試行錯誤は必要です。ライブ生成機能（Live）を有効にし、ベース画像に添景を追加
前回は板タブで添景を手書きしましたが、やはり手書きは難しいので、ネットからダウンロードしたフリー素材をベース画像に挿入することにしました。Kritaのライブ生成機能で、リアルタイム生成される画像の調子を見ながら、プロンプトや適用強度、添景の形状や色味などを調整します。気に入った画像ができたら、レイヤに追加してイメージパース完成
Krita内で作業が完結しているので、AIが生成した画像が少々おかしくても、フォトレタッチで修正することができるのが良いところです。
線画パースを元にベース画像を生成（Generate）
まずは、以下のような画像生成モデル、プロンプトによって、線画パースから水彩画風の着彩パース（ベース画像）を生成（Generate）することにしました。
画像生成モデル：DreamShaper v8
LoRA：なし
illustration, Pen drawing, Watercolor painting, best quality, highres, Cobblestone alleys, outdoor cafes, traditional architecture, Mediterranean design, Automobiles parked, people, man, Faces are visible
添景などを追加し、リアルタイムでイメージパース生成（Live）
以下の様な画像生成モデル、LoRA、プロンプトによって、ベース画像に添景などを追加しながら、ペン＋水彩画風のイメージスケッチをリアルタイム生成（Live）します。
画像生成モデル：DreamShaper v8
LoRA：自作のペン+水彩画風の人物添景LoRA
illustration, Pen drawing, Watercolor painting, best quality, highres, Cobblestone alleys, outdoor cafes, traditional architecture, Mediterranean design, Automobiles parked, people, man, Faces are visible
自作のLoRAは、以下の様なペン+水彩画風の人物画像を学習したものです。
人物などの添景は、ネットからダウンロードしたフリー素材の大きさや形状、色などを変更し、ベース画像に挿入して配置しています。
イメージパースの生成過程をまとめた動画（4倍速）
写真やイラストなど、生成したいイメージパースとは異なるテイストの添景であっても、AIが参照して再生成することで、統一感のある絵になりました。
まあ、自動車は学習が足りないせいか、あるいは強度が低いせいなのか、少し違和感ありますが。
しかし、今回のようにベースの画像と添景を分け、画像生成モデル、LoRA、プロンプトを変えながら2段階で生成することで、より意図したイメージに近い絵が作れるようになったのではないかと思います。