【Vtuber制作】最新グラフィックス×Vtuber DEMO - 「その世界にいる」質感を求めて -
「その世界にいる」質感を求めて
デモ映像。初投稿しました！
いいねやチャンネル登録いただけると嬉しいです！
普段のVtuberの絵とは一味違う、アニメの世界に入り込んだような感覚を目指しました。すべて3Dかつリアルタイムで動作しています。キャラクターの表情やモーションは、Vseefaceというソフトで、モーションキャプチャを行い、こちらもリアルタイムに出力しています。
コンセプト
旅先でちょっとした配信をするように、仮想世界に旅行にいってお気に入りの場所で配信する未来であったらいいなと考えています。今のVtuberは、ネットとリアルを繋ぐマスクのようなものだと思っていて、そこからもっともっと発展したら楽しいと思う！
ポイント
質感がよくあるVtuber映像と大きく異なると思います（良し悪しではなく）。後で触れますが、ゲームエンジンのUnreal Engine 5によるリアルな描画によるものです。
実は、キャラクター自体は、Vroid Studioで作ったままほとんど変えていません。UE5側でシェーディングのパラメータを弄ることがメインで、本体は目と髪のテクスチャを映えるように変更し、アクセサリーをつけています。目は光るように、髪はリアルな動き方に合わせテクスチャもリアルにするといった形です。こうして、「アニメっぽさとリアルっぽさの挙動や表現が入り混じることで、独特の質感が生まれる」というのが今回の自分の最大の学びだったりします。
製作のアプリ構成について
ベースとして、ゲームエンジンであるUnreal Engine 5でリアルタイム描画しています。
UE5周りの構成/モーションキャプチャなど
キャラクターのファイルであるVRMモデルをVRM4Uプラグインで読み込んでいます。質感の調整機能があり、アニメっぽい絵柄はこのプラグインで十分事足りると思います。キャラクターのモーションは、VseefaceからモーションをOSC送信し、UE5で受信し、VRM4Uに備わっているVMC受信Blueprintで受け取っています。なお、この方法だと、Webカメラ単体で済みます。iPadを用いたLiveLinkfaceの活用がUE4,5では事例が多いですが、顔しかキャプチャせず、絵が破綻しやすいことから使っていません。下の絵のようにパーカーが連動しないんですよね・・・。
録画/配信設定/OBS周り
録画/配信などができるように、UEのOff Worldプラグインを使って、カメラActorの映像をOBSへ直接高速に取り込んでいます。この機能を使うことで、キャラクターだけ抜き出すことも可能で、OBSにて別の画面と合成することも可能です。
ただし、OBS上でいろいろな画を合成していると、処理が重たくなったりするので注意。
映像アセットまわり
手前でちかちかしている映像は、AdobeのVFXツールであるAfter EffectsのAEJuiceのテンプレートをカスタマイズして、UE5に読み込んでいます。SFっぽいこの手の映像は手作りがとても大変なので、フリーのテンプレをベースにするか、特大セールの時にまとめ買いをお勧めします。
今後やりたいこと
ストーリー性が生まれる画面を作りたいなと思っています。途中まで作ってはいたのですが、暑いときは扇風機が起動して、風がちゃんと吹くだとか。背景を乗用車が飛んで行ったり。窓ガラスの曇りを手で拭くとか。今はアクション１つ１つの作画コストが高く「映像作品」の域を出ないのかもしれないですが、3DモデルもmidjourneyのようなGAN技術で量産できるようになると思います。そんな未来は遠くないと思う！
あと、個人的にごはんモグモグはとてもやりたい。
