2021年、世界のバーチャルヒューマン（インフルエンサー・デジタルヒューマン）事情と作り方を一挙公開
北米はL.A、東京は中目黒と池尻大橋の中間に拠点を構え、AIヒューマン（会話ができるバーチャルヒューマン）の研究開発やエンターテック事業、リテール分野のDXを支援している1SECのFounder&CEOの宮地 です。昨今、バーチャルインフルエンサーが注目を集めています。弊社もこの分野を2017年から構想＆着目し、2019年から事業化してきたわけですが、簡単にまとめたものを紹介します。参考になれば嬉しいです。
＜バーチャルヒューマンとは？＞
そもそもバーチャルヒューマンとは？について知りたい方もいると思います。バーチャルヒューマンとは、3DCGソフトで製作されたデジタルヒューマンの事を示します。デジタルクローンとも言われています。
現在多くのバーチャルヒューマンは顔が3DCG、ボディは実写を使ったコンテンツにするプロダクションが多いと感じています。下記の写真も、ボディは実写、顔は3DCGで製作されいます。
＜バーチャルヒューマンの作り方は？＞
下部の画像記載の工程から製作する流れになります。
＜3Dスキャンとは？＞
バーチャルヒューマンを製作する際は、モデルとなる人物を 3D スキャンしたデータをもとにモデリングをします。 基本のモデルを作成するにあたり、無表情のものは必須で、最終的なアウトプットをどうするかによって、 スキャンが必要な表情のパターン数などが異なります。弊社で開発した日本初の男性バーチャルヒューマンのLiam Nikuro（リアム二クロ）の場合は、何百パターンのスキャンを実施しています。 最終的なアウトプットが、動画で尚且つ、動画をさ想定した場合などは 数百パターン近く撮影が必要になることもあります。
＜モデリングとは？＞
スキャンしたデータのままでは実際には使えません。使えるモデルにクリーニングします。 髪の毛、眉毛、まつ毛はスキャンデータからは作れないので、3Dソフトで一から作成します。 モデリングと次の工程のシェーディング作業で、1ヶ月ぐらいはかかります。
モデルに、質感の設定を行います。テクスチャと呼ばれる、質感・模様・凹凸などを表現するために用いる画像を いかに上手に作成できるかが肝だと思います。下の画像は、使用しているテクスチャ ( マップ ) の一部です。
3DCG モデルに対して、アニメーションをつけるための設定を施す工程のこと。セットアップとも呼ばれます。 モデルと骨を関連づけるスキニングや、ウエイト調整、デフォーメーション設定などが含ます。 上記の設定ができたら、それらを直接操作するためのコントローラーも制作します。
下の画像のようなものだと 数時間ぐらいでできますが、物量によって掛かる工数は異なります。
＜合成するボディの撮影について＞
◎被写体なしの背景のみの撮影をする。
(CG からはみ出した元のモデルを消すために必要なので、静止画でも動画でも必要です。)【記録する情報】 ※動画の場合は正確なものが必要ですが、静止画の場合はだいたいで大丈夫です。
◎焦点距離と、カメラのセンサーサイズ(カメラの型番・4K や HD などの撮影モード) ◎現場の実測データ(映ってる静止物を CG で再現するため)
▽さらに精度をあげるためにしておいた方が良いこと ・カラーチャートや HDRI 用の写真の撮影 ・撮影時のカメラの高さや角度、被写体との距離などを記録する ・常に映ってるマーカーポイントを作る (※動画 ) ・ボケやブレをできるたけ少なくする (※動画 ) ・別アングルから、現場の状況を撮影しておく
【動画の場合の禁止事項】
× ズーム
× ガラス越しでの撮影
× デジタルスタビライズ機能の使用(光学スタビライズ機能は大丈夫です)
＜カメラトラッキング＞
カメラトラッキングとは、映像内の特定の被写体や領域の動きから、カメラの移動量を検出することです。モデルの移動量の検出をすることは、オブジェクトトラッキングと呼んでいます。静止画の場合は、特別しっかりする必要はないです。カメラを作成し、焦点距離とカメラのセンサーサイズを撮影時を合わせ、同じぐらいの位置に配置します。動画の場合は、カメラの動きもモデルの動きも、正確に検出する必要があります。解像度が大きく、ノイズやボケ、ブレの少ない動画だと、精度が上がります。具体的な作業の説明は省略します。
これの後に、顔の角度や表情を調整したり、目線を決めたりします。
動画場合は、それをアニメーションさせたり、髪を揺らすシミュレーションの工程も発生します。
＜ライティングについて＞
3DCG シーンを照らす様々な種類のライト(光源)を設定し、シーンの最終的な見映えを決める工程のことです。 レンダリングにかかる時間なども考慮し、適切なライティングを行うことが求められます。まずは環境光を再現します。撮影時にモデルのポジションから撮影した HDRI を使うとより実写と CG の馴染みが良くなりますが、 撮っていない場合は、フリーサイトから似てる環境の HDRI を探して使っています。 次に、足りない光を追加のライトを使用して再現していきます。
＜レンダリング＞
モデル , ライト , カメラなどの情報をもとに計算させ、画像を生成する工程です。静止画の場合は 1 枚だけですが、動画の場合は 1 秒に 30 枚 ( もしくは 24 枚 ) の画像をレンダリングします。 クオリティを上げすぎると、1 枚に数時間掛かってしまうこともあるので、バランス良く設定する必要があります。 実写と合成させる ( コンポジット ) の時に調整しやすいように、素材を分けて出しておきます。
＜コンポジジット作業について＞
撮影素材と、レンダリングした素材を合成させる工程です。
弊社の一部のクリエイターの場合は、Nuke や AfterEffects を使ってベースのコンポジットをして、最終的な仕上げには Photoshop を使っています。実際の映ってる人物の肌などで使える部分は、CG の上からさらに重ねて乗せるなどして、馴染ませています。
長くなりましたがバーチャルヒューマンがどのような工程で製作されているのか？簡単に紹介させていただきました。是非、沢山の3DCGで合成されたコンテンツがインスタグラムで拝見出来るのでLiam Nikuroで検索してフォローしてみてください。
Liam Nikuroは世界で初めてNBAの八村選手が所属するWashington Wizardsとのパートナーシップ契約を締結し、Washington Wizardsオフィシャルバーチャルインフルエンサーとしても活躍しています。コロナ禍でのプロモーションとして、ALL デジタルで完結するバーチャルヒューマンを活用する事例として世界で話題になりました。
＜世界のバーチャルヒューマンはどんな人たちが存在してるの？＞
世界や国内で、どんなバーチャルヒューマンが存在してるのか？気になりませんか？簡単に紹介していきたいと思います。※下部は2021 年3月1日現在の数値なので予めご了承ください。
１ Lil Miquela
※世界初のバーチャルヒューマンです
２ imma
※世界で一番クオリティが高い技術だと個人的に思っており、テクノロジーもブランディングも非常に上手く、もの凄く尊敬しているプロダクションの一つです。
３ Shudu
４ Noonoouri
5 BERMUDA
６ LU OF MAGALU
7 Daisy Yoox
8 Saejin Jung
9 Bee Influencer
10 BLAWKO
11 REAH KEEM
12 Ella
13 MAYA
14 CG女子高生 SAYA
15 MEME
※こちらのプロダクションも非常に技術が高いです。
まだまだ世界には多数のバーチャルヒューマンが存在しており、上記は一部のバーチャルヒューマンを紹介させていただきました。
テクノロジーの進化で、更なる進化が期待出来る分野ですが弊社1SECでも新たなプロジェクトもスタートしております。それは、AIを搭載したバーチャルヒューマンと会話出来る（コミュニケーション）事が可能なテクノロジーです。このテクノロジーが世の中の為になると確信しており、この分野にいては弊社1SECが世界でリードできると思っております。是非応援頂ければ嬉しいです。
このテクノロジーについては後日また詳細に記事として展開するので、是非、私のアカウントをフォローしてもらえればと思います！^^
またお仕事のご相談など、弊社ホームページからお気軽にご相談下さい。
この記事が気に入ったらサポートをしてみませんか？