DAZ on AI｜Tensor ArtでFaceGen読み込み用画像を作成 - DAZ.AI 実験室

画像生成AIサイトのTensor ArtとCivitAIを用いて、FaceGen Artistに読み込む顔画像を作成し、DAZ Studioにエクスポートしてレンダリングを試みたので紹介します。

以下の記事の続きですが・・・

従来は、Pinterestなどから好みの人物写真をダウンロードして、FaceGenに適した「証明写真」っぽい正面無表情の画像に編集加工していましたが、写真の選定も含め、けっこう時間と手間がかかっていました。

今回は、Tensor ArtのControlnetのOpenposeとプロンプトを組み合わせ、FaceGen Artistに読み込むのに適した画像生成を試みました。

Tensor ArtとCivitAIを再開する

再開したイメージ

前回からの続きですが、生成された画像は前回とは異なるものになりましたが・・・

Tensor ArtとCivitAIで画像生成-1

Tensor ArtとCivitAIで画像生成-2

個人的には、そこそこのイメージだと感じました。今回はこのまま顔かたちはいじらず、FaceGen Artistに読み込ませることを目的として先に進めます。

ControlnetのOpenposeでポーズ設定

ControlnetのOpenposeに画像を読み込んで、正面のアップにしてみます。

ControlnetのOpenposeに画像を読み込む-1

この画像は、DAZ Studioで従来のAsh G8のA-poseのモデルをスキンヘッドのまま、バストアップでレンダリングしたものを使っています。

ControlnetのOpenposeに画像を読み込む-2

画像サイズを640x640pixに変更

画像サイズを640x640pixのスクエアに変更し画像生成してみました。

画像サイズを640x640pixで画像生成-1

画像サイズを640x640pixで画像生成-2

画像サイズを640x640pixで画像生成-3

髪型を変える

髪型を変え、額と耳が見えるようにします。

髪型を額と耳が見えるように変更-1

プロンプトを「face close up, (slicked back hair: 1.4)」に変えています。実は、ここでかなり試行錯誤を繰り返しましたが・・・

生成画像を保存 - Test-1

髪型を額と耳が見えるように変更-2

これを、Ash-AI-TA-Test-1.pngとして画像を保存しました。

画像サイズを1024x1024pixに変更

画像サイズを512x512pixの2xに変更-1

画像サイズを512x512pixの2xに変更-2

画像サイズを1024x1024pixにするために、512x512pixの2xに設定し画像生成します。

生成画像を保存 - Test-2

画像サイズを512x512pixの2xに変更-3

画像サイズを512x512pixの2xに変更-4

これを、Ash-AI-TA-Test-2.pngとして画像を保存しました。

以上で、Tensor Artでの作業は終了です。FaceGen Artistに読み込んで、DAZ Studioでレンダリングを試みます。

個人的には、モチーフとしている人物にはそれほど似ていないと感じますが、今回はプロセスを完結できるか？に焦点を絞りたいと思います。

FaceGen Artistでキャラづくり

Test-1の画像から3Dデータを生成

Test-1の画像から3Dデータを生成

特に画像の編集加工は必要なく、そのまま読み込んで3Dデータ化ができました。非常に楽です。今回の目的は達成できたと思います。

Test-2の画像から3Dデータを生成

Test-1の画像から3Dデータを生成

Test-1と微妙に印象が異なるので、場合によっては、２つの顔の形状を任意の比率でミックスすると面白いかもしれません。テクスチャーも微妙に異なっていると思われます。

DAZ Studioでレンダリング

従来のAsh G8モデルの顔の形状とテクスチャーを、今回生成した２種類の3Dデータに差し替えてレンダリングしてみます。

ちなみに、従来の元のレンダリングイメージは以下です。

従来のAsh G8モデル レンダリングイメージ

Test-1のレンダリングイメージ

Ash AI TA Test-1 レンダリングイメージ

印象は異なりますが、想定以上の出来なので、今後Tensor Artで試行錯誤するには十分なモチベーションが湧いてきました。

Test-2のレンダリングイメージ

Ash AI TA Test-2 レンダリングイメージ

640pixとの差は感じませんが、無料で生成できるほぼ上限のスクエア解像度なので、こちらをメインに使いたいと思います。

並べて比較

こんな感じになりましたが・・・
三姉妹、キャッツアイとか（年齢が分かる・・・）

従来のAsh G8とTensor Artモデル1/2との比較

FaceGen Artistでは、今回は顔画像を読み込んだデフォールトの状態でDAZ Studioにエクスポートしています。

しかし、従来は顔画像を読み込んだ後で、多くのパラメーターをスライダーでいじって、それなりに編集加工してからエクスポートしています。

そういう意味では、Tensor Art側での調整と、FaceGen側での調整を分担し、得意分野に特化することで、キャラづくりの合理化が図れそうですが・・・

まとめ

画像生成AIサイトのTensor ArtとCivitAIを使って、FaceGen Artistに読み込ませる顔画像を生成し、FaceGenに読み込んで3Dデータ化してDAZ Studioにエクスポートして、レンダリングするまでを紹介しています。

結果的には、モチーフの人物との印象の違いはあるものの、従来行っていた実物写真の選定とその編集加工の時間と手間が省力化できる可能性を感じました。

Tensor Artでどこまでキャラクターをイメージどおりに追い込めるか？にかかっていますが、従来からの固定概念を変える良い機会だと思います。

次回は、DAZ Studioに標準で備わっている（継続利用は有料）Face Transferを使ったキャラづくりとレンダリングを試み、FaceGen Artistとの比較をしてみたいと思います。

関連リンク