AIで平面から三面図作成

AI 3Dモデリングはまだまだ時期早々な状態ですが、イラストを立体化できるのであれば平面図から三面図が作れる！と思い実験！
StableDiffusionでも三面図は作れるのですが、なかなか狙い通りに書き出せないので今回の方法でやってみました。

■使用ソフト

AI 3Dモデリング…DreamGaussianで行います。
キャラクター画像…StableDiffusion

DreamGaussian - a Hugging Face Space by jiawei011

■AIで3Dモデリング

StableDiffusionでキャラクターを作ったが、全身が斜め前を向いており正面が欲しい。できれば三面図も。

DreamGaussianに画像をドロップ。3DCGを作る

数分待つと左下に3D modelが出来上がる。こちらglbでダウンロード可能。
Blenderにインポートして3面図を作るのもよし、DreamGaussian上で向きを変えてスクショとってもよし。結構便利ですね。

■おまけ

ここでちょっと遠回り。3Dになったのは良いが顔が崩れてしまったので、一度正面を向かせ、顔を別画像から合成。再度DreamGaussianを実行し3D化しました！

崩れた顔に合成した。これを再度DreamGaussianへ

DreamGaussian実行完了。
顔が崩れなくなったがチャックなど細かい部分がぼやけてしまった。

■精度をBlenderに読み込んで確認

左レンダー、中央ソリッド、右ワイヤー

一見3D化が出来ているように見えますがポリゴン数や作りは滅茶苦茶で使い物にはなりません。全身細かいポリゴンと凹凸があります。これではリグを入れるのも難しいですね。

■三面図作成

数パターン画像を用意しよさそうなものを使います。三面図といいつつ色々な角度で書き出せるので五面図ｗにしました。
今回は右の顔が崩れた方がスタイルが良いのでそちらで作成しようと思います。

二パターンの画像で作成。良い所を選ぶ

完成した三面図

■まとめ

AIモデリングはまだまだ実用化は難しいですが、下絵にしたり、今回のような平面を立体化し三面図にするなどには全然使えるクオリティーになってきました。平面キャラを立体化する下絵には十分使えると思います。
モデリングの方もあと少しで使えるようになるとは思うので楽しみに待ちましょう。