【3D実写動画】ボリュメトリックビデオのファイル形式 ～スタートアップもピックアップ～
ザックリ言うと、CGアニメとかではなく"普通の動画"のように被写体を撮影し、それを360度から見ることが出来るような動画のことです。
誤解がないように明確に記載しておきたいのですが、
「定点から周囲360度を見渡せる動画」ではありません。
下の写真のように深度スキャナーで被写体を撮影すると、3次元データをパソコンやスマホに保存することが出来ます。画像として撮影すると動かない3Dデータとして保存可能で、動画として保存すると360度から被写体を見られる動画の出来上がりです。
( ↓写真で使っているマイクロソフト製のは 30fps動画の撮影が可能 )
空間の3次元のデータに加えて時間軸のデータも持ってるということで、それはもう「4次元のデータ」なんじゃないのかという気もします。
もう一度記載しますが、
「定点から周囲360度を見渡せる動画」ではありません。
被写体を360度から見ることが出来る動画"のハナシをしています。
ファイル形式とは
改めて説明するのもアレですが、ソフトウェアには扱えるファイル形式が決まっておりファイル名の終わりに拡張子として分かりやすく付与されています。Microsoftオフィスで扱う docx とか、xlsx とかのことです。メディアファイルでもbmpやpng、jpegなどがあり、それぞれ特徴が異なります。
例えばですがbmpファイルなどは実はデータの先頭に bmpファイルであることを示す "BM"というデータが入っており、そのあとにファイルサイズや画像の横幅や縦幅などの内部のコンテンツ以外のデータが入っています。
これらの構造の規格は、ソフトウェアを開発した企業だったり、企業や技術者が集まった非営利団体が設計をしていることが殆どです。
ボリュメトリック映像のファイル形式
例えば2D映像には複数のファイル形式が存在しています。Macを使ったことのある方なら mov形式というものを見たことがあったり、Windowsユーザーであれば aviや wmvなどに馴染みがあるのではないでしょうか。
同様に、ボリュメトリック映像にも複数のファイル形式が存在・提案されています。
マイクロソフト推しのMatroska形式 (mkvファイル)
記載しておいてナンですが、ボリュメトリック映像向けに設計されたファイル形式というわけではありません。マイクロソフトが採用しているので、もしかしたら皆さんも ".mkv"というメディアファイルを見たことがあるかも知れません。
マトリョーシカのように入れ子構造になっており拡張性が高く、いろいろな用途に使うことが出来るという特徴があります。専用のソフトで読み込めばボリュメトリック映像として視聴でき、Windowsメディアプレイヤーで読み込むと2D映像として視聴できます。
正直な所、マイクロソフトがこの規格でボリュメトリック映像を扱う気がどれだけあるのか良く分かりません。
オープンなMPEG Immersive video (MIV)
ISO規格における、ISO/IEC DIS 23090として扱われているものです。いわゆる mpeg ( MPEG-4 = mp4 ) の新しい規格です。
パート3では H.265の次の新しい動画圧縮規格である H.266/VVCについて、パート4では音声についての内容となっており、ボリュメトリック映像のみを取り扱っているわけではなく「イマーシブ・メディア」としての規格となっています。
パート1ではイマーシブ・メディアの定義についての説明がなされており、以下のような分類があります。YouTubeなどでも視聴可能な360度VR映像は3DoFと呼ばれる、定点から視聴できる映像です。説明の簡便性から3DoFと6DoFという分け方が主流化と思うのですが、実際は『椅子に座ってる範囲であれば視点を動かせる』3DoF+と、『数歩であれば視点を動かせる』オムニディレクショナル6DoFが存在しています。
※実際のところ、3DoF+はオムニ6DoFに内包されてしまいそうですが…。ビジネス的に敢えて3DoF+に抑える必要がないのではないかなと。
グローバルに使われている技術に則るか、テックジャイアントに追随するか、はたまた完全に独自のデータ構造を定義するかはビジネスによるかと思うのですが、もしグローバルに合わせるのであれば "MPEG Immersive video"を追いかけるので良いかなと思います。
点群か、面か
データ自体の分類として、点群か面かということがあります。
点群はポイントクラウドと呼ばれ、x-y-zの位置情報と色情報を持った点のデータの集まりのことです。以下の画像のように、点により3次元データを表現するもので、これに時間データを付与することで動画のように視聴することができます。
一方で面を使った表現もあり、YouTubeで人気のVtuberなどをイメージしていただければよいのですが、点では表現されておらず、面で形が構成されています。Vtuberに限らず旧来のCADなどの3Dソフトウェアなど、点群よりも一般的に使われているのはコチラの方かと思います。
点群を繋ぎ合わせることで面を作り出すことなども出来なくはないですが、モノにより最初からCADデータを突っ込んで組み合わせて利用してしまった方がクオリティが高く見えるかも知れません。
ポイントクラウドの使いどころとしては実在の人物などの被写体を撮影するのに向いてるのかなと思います。余地や可能性があるということで、実際に上記のISO/IEC 23090としてもポイントクラウドに言及する提案の方が多いようです。
もう一度記載しますが、
「定点から周囲360度を見渡せる動画」ではありません。
被写体を360度から見ることが出来る動画"のハナシをしています。
動画として再生されている3D空間内を自由に動き回れるものだとイメージしてもらうと良いかも知れません。
Webでの6DoFのスタンダードは.gltfファイルになる？
比較的新しく、モダンなファイル形式にgltfがあります。中身はJSONファイルであり、例えば以下のようなサンプルを見ると構造が分かります。
https://github.com/KhronosGroup/glTF-Sample-Models/blob/master/2.0/WaterBottle/glTF/WaterBottle.gltf
テクスチャとしてpngファイルを読み込んでいるのが分かります。
VTuberなどに用いられるVRMという規格があるのですが、実はこのglTFを元にしているalt-glTFとも言えるフォーマットとなっており、gltfは「3D業界のjpeg」と呼ばれるなど近年においての3Dデータファイル形式の有力株となっています。
Blenderなどの3Dソフトでgltfにアニメーションデータなども付与することが出来るので、動画のようなコンテンツを配信することが出来ます。
このgltfが、ISO／IEC 23090 パート14においてポイントクラウドを扱えるように拡張されました。これまではBlenderなどの3Dソフトを利用してアセットを作成し、それをgltfとしてエクスポートするなどが多いのかと思うのですが、そのうち撮影した実写ダンス映像などをgltfとして配信するなどが増えるかも知れませんね。JSONデータで3D映像を表現することが出来るということで、ボリュメトリック映像の取り組みへの敷居が更に低くなるのではないでしょうか。
点群か面か、ということではなく扱われるデータは全てgltfとなり、3D空間内に点群だったり面で構成された3Dデータが色々と配置されてエンタメコンテンツが構成される…ということもあるかなと思います。
時間軸のタイミングさえ合っていれば、点群と面のデータを組み合わせても違和感が無いのではないかと思います。
3DoF以外の形式を扱っているスタートアップ
ボリュメトリック映像に取り組んでいるスタートアップをピックアップしてみます。
オムニ6DoF ：Lifecast Inc
視点を前後・上下左右に少しだけ動かすことが出来ます。UnityやUnreal Engineで用いることができる再生プレイヤーの開発者ライセンスを販売しています。おそらくですが、データ構造としては独自のファイル形式を用いているのかも知れません。
オムニ6DoF：Vimmerse
MPEG Immersive Video (MIV)のファイル形式をベースに取り組んでいるスタートアップです。もしかしたら6DoFと言えるかも知れません。
どうも、ISO/IEC 23090に関わっている方がメンバーにいるようです。
"イマーシブ"なのか"ボリュメトリック"なのかの所感メモ
ボリュメトリック＝イマーシブと言うことはなくて、ボリュメトリック映像によってイマーシブが実現されることはありますが、ボリュメトリック映像だけがイマーシブを実現する手段ではないと思っています。
そもそもまず、「イマーシブシアター」と呼ばれる観客『参加型』の演劇形態が存在していました。
また、英単語の immersive は『没入感』を意味する言葉ですが、これはVRアプリやソフトウェア開発時のキーワード的によく使われていました。例えばマイクロソフト社はHololensというVRヘッドセットのことを「Immersive Headset」などと呼んでいました。
現状、『参加型』か『没入的』のどちらか片方の意味で使われているような気がしています。
例えばもし、「メタバース空間内で視聴している自分の影響により、見ているボリュメトリック映像が変化してドラマの筋書きが変わる」というようなことがあれば、『参加型であり没入的』と言えるのではないでしょうか。
人種や使っている言語によって映像や音声が勝手に切り替えるぐらいのことが研究所のテストレベルで行われているようですが、まだまだ（そんなものじゃないぐらい可能性は大きい）でしょう。
目指すべきエンタメの１形態ではあるものの、現在 "イマーシブ"や"Immersive"を標榜しているもので、両方の概念を両立出来ているものはほぼ無いのではないかと思われます。
お仕事のご相談はコチラ！ ↓↓
VRアプリや3Dアセット制作などを行っております。
タレント事務所のコンテンツとしてのご利用、既にある施設系サービスのVRプロモーションなど、様々な用途に使えるかなと考えております。ほか学習教材や、オンラインスクールなどでもボリュメトリック映像を活用できるのではないでしょうか。
もしご興味のある方などいらっしゃいましたら、ぜひご連絡ください。
お仕事の相談、お待ちしております！
Googleフォーム： https://forms.gle/CLeoLxkskQRXnaLKA