メタバースの研究開発を360°動画で表現する - PremierePro/ambiXでパイプライン構築
こんにちは。REALITY株式会社 GREE VR Studio Laboratory（以下、ラボ）の堀部です。明治大学大学院では音声信号処理を研究しています。
さてラボでは先日UXDevシリーズの最新作『Meta Dreamers - UXDev by GREE VR Studio Laboratory - ツユハナビ ft.菜那』を公開しました。おかげさまで公開から1か月で1400回再生を超えました！ありがとうございます。
本作の詳細については、『メタバースの研究開発をミュージックビデオで表現する』をご覧ください！
まずはエビデンスデータです。YouTubeのダッシュボードによると右肩上がりで視聴いただけておりとても嬉しいです。
ラボでは今回実験として、ツユハナビのパラ音源（各パートが別々に収録された音源）を使って、MetaDreamers のラストライブシーンの360°動画を製作しました。この記事では、将来のHMDでの動的な体験を実験するための事前調査として、Premiere Pro 上で立体音響を構築するプラグイン ambiX v0.2.10 – Ambisonic plug-in suite を用いて360°動画を製作する動画製作パイプラインについて紹介します。360°動画に向けた立体音響について、あまり詳しくない方にご覧いただけると幸いです。
早速ですが、完成した360°動画をご覧ください！お手元のスマートフォンであれば、視界を自由に変えられますし、YouTubeVRにて「UXDev」と検索してOculus Questでぜひご覧ください。
Premiere Proで環境を構築する
あらかじめ、Premiere Proで新規プロジェクトを作成し、ambiXの公式サイトからプラグインをダウンロードしてください。
Premiere Pro：編集 > 環境設定 > オーディオから、[オーディオプラグインマネージャー]を開く。
プラグインを追加する。
プラグインフォルダーにプラグインのフォルダを追加する。
普通にインストールすると「C:\Program Files\Steinberg\VSTPlugins」
→ [プラグインをスキャン]を実行する。
立体音響を構築する
MetaDreamersの360°動画ファイルは、中野助監督が書き出してくれました基本的にはUnity Recorderだけで行けそうです。
シーケンスの作成
製作過程で重要なのは、Premiere Proのシーケンスの設定です。
オーディオを立体音響に対応するように設定しますが、オーディオ設定はシーケンス作成後に変更できないので注意してください。
それでは、"トラック"タブからオーディオを設定します。
まず、ミックスをマルチチャンネル、チャンネル数を4に設定します。モノラル/ステレオでは最大2chですが、マルチチャンネルに設定すれば最大32chまで変更できるようになります。
次に、トラックを4つに追加し、それぞれのトラックの種類をアダプティブに変更します。
右下の[OK]を押して設定を完了しよう。
ambiXを適用する
作成したシーケンスに音源を追加し、オーディオエフェクトにambiXプラグインを適用します。ツユハナビのパラ音源はそれぞれモノラルなので、すべてのトラックにambiX_encoder_o1を適用します。
（ステレオ音源の場合は、ambiX_encoder_i2_o1を適用します）
音源の位置を調整する
エディターを使って音源の位置を調整します。エディターの黄色い球体が音源、グレーの球体が頭を示しています。黄色い球体をマウス操作で移動させるか、スライダーを使って位置を調整します。
この操作は、音源を再生したままできるので、実際に聴きながら音源の位置を調整することをオススメします。
Premiere Pro上で立体音響を反映したプレビューを行うために、ambiXの公式サイトから ambix_binaural_presets_v0.1.5.zip をダウンロードし、解凍したディレクトリを以下に置きます。
Windows：C:\Users\username\AppData\Roaming
macOS：~/Library
次に、Premiere Pro上で各トラックにエフェクトを適用したようにミックスにambix_binaural_o1を適用します。
[open]からプリセットsquareに設定することで、プレビューを再生すると立体音響が反映されます。
360°動画を書き出す
まず、Premiere Pro上で再生するためミックスに適用していたambix_binaural_o1がそのまま設定されていると360°動画として書き出されないので、書き出す前に外すことをわすれないでください。
この記事では、YouTubeがおすすめしている動画のエンコード設定に合わせながら、mp4/H.264コーデックで書き出す流れを紹介します。
書き出し設定のなかで必ず設定してほしいのは3点です。
"VRビデオとして処理"にチェックをつける。
基本オーディオ設定 > チャンネルを4.0に設定する。
"オーディオはアンビソニックスです"にチェックをつける。
他の設定は使用する動画や音源に合わせて設定しても問題ないと思います。
書き出した360°動画は、例えばVLC Media Playerのようなサービスでも観ることができます。また、YouTubeにアップロードすると360°動画として視聴できます。
QRコードからスマートフォンでご確認ください。
おわりに
この記事では（ふだん音声信号処理の研究開発を担当している筆者が）実験として Premiere Pro上でプラグインを使ってできる立体音響ノウハウについて紹介しました。製作した360°動画をOculus Quest2を使って視聴したのですが、バンド構成の楽曲なこともありライブ会場にいるかのような気分で楽しめました。強くおすすめします。今回はただのハウツーに終わりましたが、今後の動的なメタバース時代の立体音響音声体験についていろいろ実験していきたいと思います。
GREE VR Studio Laboratoryでは、メタバース時代における技術開発に取り組んでいますが、獲得した技術に関する映像制作や発信活動にも力を入れています。ご興味がある方は[Web]やYouTube[https://j.mp/VRSYT]を観ていただけると嬉しいです。また、インターンに興味を持ってくれた方はぜひ[インターン希望の方へ]から詳細をご確認ください！