見出し画像

【Fooocus】Stable Fast 3Dでキャラアングルを自在に制御した画像生成テクニック

Shinya@AIマンガ家【住み込みバイト、始めます！11/30公開】

こんにちは、Shinyaです。

先日、Xに「Stable Fast 3Dを使って画像生成するとキャラのアングルを自在に制御できる」テクニックを投稿しました。

この投稿、ほんの少しだけバズったのでNoteで詳しく解説します。


Stable Fast 3Dとは？

Stable Fast 3Dとは、Stability AIが開発した最新の3Dアセット生成技術です。

1つの画像から、わずか0.5秒で高品質な3Dモデルが生成できます。

一見すると画像生成には何も関係なさそうな技術ですよね。

これを画像生成に応用するというのが今回紹介するテクニックです。

Stable Fast 3Dを使って視点を自在に制御したキャラ画像を生成する手順

ではさっそく手順を紹介しましょう。

ステップ①　Stable Fast 3Dにキャラ画像を投入する

まずはStable Fast 3Dを動かします。

ローカルで実行したい方はGitHubを参照してください。

HuggungFaceならWebブラウザで使えます。

そしてキャラ画像を投入します。

今回使った画像はこちら。

投入する画像は予め透過PNGにしておいてください。

透過PNGでない画像をアップすると、Stable Fast 3Dが自動で背景除去してくれますが、クオリティは高くありません。

このあと「Run」ボタンを押すと、3Dモデルが生成されます。

ステップ②　3Dモデル画面をグリグリ動かし好みのアングル画像を切りだす

今回のポイントがステップ②です。

右側の「3D Model」画面でマウスをドラッグしてみてください。

視点が変わるはずです。

好みのアングルになったら、画面キャプチャで画像として切り出してください。

これを画像として保存します。

ステップ③　切り出した画像を入力画像として画像生成する

次は、この画像を参照して画像生成します。

StableDiffusionの場合はCannyを使うことになると思います（詳細は割愛）。

Fooocusなら標準でインストールされているPyraCannyを利用します。

以下の流れで画像を生成します。

  1. Input Imageにチェックし、ImagePromptタブをクリック

  2. さっきキャプチャした画像をアップロード

  3. PyraCannyを選択する

  4. プロンプトはベース画像を生成したときと同じものを入力

  5. [Generate]ボタンを押す

これでアングルを変更した画像が生成できました！

物体ありの画像でもOK

Stable Fast 3Dのクオリティは非常に高く、椅子に座っている人物でも3Dメッシュ化できます。

これを元に画像生成した結果がこちら。

自転車やバイクに乗っているキャラでも、うまく行くんじゃないかと思います。


まとめ

VTuberツールや3Dモデリングツールなどは画像生成AIと相性が良く、様々な画像を生成するのに利用できます。

特に画像を入力できるツールは積極的に使っていきたいですね。


いいなと思ったら応援しよう！