見出し画像

『ボリュメトリックビデオ』について （3）人を表現するリアリティの源泉

XRディレクターYUKIOの長いつぶやき

＜（2）からのつづき＞

ボリュメトリックビデオは『その人じゃなきゃいけない』企画に向いてる

俳優やタレントなど『その人』であることに価値がある人がいます。
そういう人をCG化する時は御本人を撮影するのが一番リアルです。

いわゆる"不気味の谷"にも通じる話題だと思いますが、
フィギュアでも映像でもCGクリエイターの方が作るのはソックリなのに「似ているけれどどこかが違う」となる場合が多いのです。

以前、NHKの企画で『AI美空ひばり』というものがありました。記憶にある方も多いのではないでしょうか？
これ似ていませんでしたよね。動きは天童よしみさんをモーションキャプチャしてましたよね。当時できるベストを尽くしていると思いますし最新技術自体にワクワクしました。楽しみましたが、なんとも言えない微妙な感じでした。

いまなら生成のアプローチ/過程も違うでしょうから当時よりは似ているものができると思います。バージョンアップ版も見てみたいです。

『AI美空ひばり』の事案のように様々な事情により本人を撮影することが難しい人は『ゼロから作る』しかありませんが、ゼロから作って似せるのは本当に難しいですね。

それを見た人が『似てる！/本人だ！/生きてる！』と感じるには形が同じだけでなく微細な動きや照明や質感、画質などが影響していますが、まずは形の再現と微細な動きが重要な要素です。

こちらがNHK『AI美空ひばり』のYouTube。人が作ったリアルCGのあの"独特な感じ"がありますよね（テレビ番組でやってくれることに意味があるから取り組み自体には私は肯定的です。Nスペ大好きです）

『ボリュメトリックビデオ』はCG生成に『人の手』が入らないので似ている

ボリュメトリックビデオでは人が作為的に関われる状況が少ないです。
"撮影開始ボタン"を押せば複数のカメラを使った録画システムが作動しサーバに映像データが取り込まれる。
レンダリングの指示を出せば速やかにCG化される。
つまり『その人を形作る』プロセスに人の手が入りません。
この点は芸能事務所に安心されることが多いです。

これは逆に、簡単に修正ができない（凄く手間がかかる）という言い方もできます。

静止画はもちろん2D映像では大なり小なりレタッチがあるのは当たり前ですので（映像全体のルックは調整できますが）事前の周知・共有が必須ですし入念なテスト撮影や各種検証が良い結果のための重要ポイントです。

でも、いずれは、美顔アプリのように3Dボリュメトリックビデオ素材のエフェクト処理ができるようになると思います。音声メディアや2D映像メディアの進化の過程を3Dもなぞると思いますので。

かなり正確な造形と微細な揺れも記録（再現）できるのがボリュメトリックビデオの強み

この坂本龍一さんは『ボリュメトリックビデオ』です。（YouTubeの途中に動いているシーンがあります）とても繊細に表現できています。
Xの画像でもわかりますが、ピアノがない状態で撮影していますね。ピアノがあると坂本さんの手足がカメラからの死角になってしまうので。この時点での最善の方法を選ばれていると思います。

『ボリュメトリックビデオ』は動きを変更できない仕様

先ほどボリュメトリックビデオはレタッチが（基本的に）できないと書きました。それと同じというか関連してるボリュメトリックビデオならではの部分なのですが、

『ボリュメトリックビデオ』には
（CGアニメとしての動きの設定を司る）『ボーン』が入っていません。

ボーンはないけど動いて見えるわけです。

（2D映像分野の方のイメージとしては）
3DのCGが『1フレームずつ連続表示されている』ような仕組み。
フレーム同士が関連しない、つながっていない
‥とイメージしてもらうのがいいと思います。

ボリュメトリックビデオは表情や服のシワ、全体の動きをまるっとCG化できるのが『強み』

ですが、
ボリュメトリックビデオの一連の中から１フレームにボーンを入れてアニメーションさせることはできます。
その場合はTポーズを撮って、それにボーンを仕込んで（動かす）というフォトグラメトリーと同じような段取りになります。

繰り返しになりますが『ボリュメトリックビデオ』と『フォトグラメトリ+ボーンアニメーション』のどちらも企画ありき、作品ありきの中で選ばれる制作手段にすぎません。強みが違いますのでどちらがその企画に向いているかを考えて選択されるものです。

フォトグラメトリの強み

・質感のコントロールしやすい
・画質（解像度）を上げやすい
・ゲームのように動きを操作することに向いている
・データを軽くしやすい

（止まっている映像を動かしているので）顔は固まってます。
顔を動かす場合は表情のアニメーションを仕込むことになります。
服もそのままでは固まっているのでリアルにしたければシミュレーションで動かすことになります。（シミュレーションで動かせる服を着せると言いましょうか）

このように見える部分、動きなどのあらゆる要素をバラバラな素材を組み上げるという膨大な作業が発生しますが、ゲームエンジンの映像表現の進化の恩恵も十分に受けられることもあり、フォトグラメトリのアニメーションはかなりリアリティのある表現ができるようになってきました。

とはいえ、（同価格帯のCG表現として比べた場合）感情を揺さぶるような熱量をまとった『本人感』はボリュメトリックビデオの方がまだ上です。いかに人間の顔や全身の動きが微細かつ常に動いているのかと思わされます。

PS5ゲームの小島秀夫監督『Death Stranding 2』のYouTubeを見ていただくと実感できると思います。
前作もリアルだなと思いましてデスストエディションのPS4 Proを購入した私ですが、さらに一段『現実の映像』に近づいてると興奮しました。

ボリュメトリックビデオの強み

一方で、ボリュメトリックビデオの強みはなんでしょうか？
・ビジュアルも動きも間違いなく『その人』で撮影したデータである保証
・動きとそれに由来する衣服の動きのリアリティ
・CGデータが出来上がるまでの工程のシンプルさによる作業期間の短さ
大きくはこの２点です。

人のパフォーマンスをCGにしてその現実味/リアリティはボリュメトリックビデオの方が上というか『リアリティがある』。
ボリュメトリックビデオによる映像は、布の質感とその歪み方、揺れる様子などもシミュレーションとは違うリアリティがあります。

いやらしい言い方ですが、
「"到達したいリアリティ"にお金をいくら出せるのか」を考えたときに
すべてを実現することができないなら、何を第一として考えるかが
これらの技術を選ぶ目安になります。（何でもそうですよね）

例えば、映画『ゴジラ-1.0』の銀座の人々やNetflix『サンクチュアリ-聖域-』の国技館の観客などのようなVFXをうまく使った『デジタルエキストラ』のように画面の中に小さくいるモブキャラのようなCG人間はフォトグラメトリを動かした方が各所の効率が良く予算の節約にもなります。
動きを良く見せたいならボリュメトリックビデオを使う場面も出てくるかもしれません。
もちろん、ビジュアル面の特徴だけでなく扱いやすいデータかどうかも重要ですから案件毎にその確認も必要になります。

＜（4）へつづく＞

いいなと思ったら応援しよう！