DeoVRの空間オーディオについて知っておくべきことすべて
本家サイトをGoogle Chromeの自動翻訳機能で翻訳した文章です。
2024年2月22日の記事
DeoVR は空間オーディオをサポートします。しかし、それは何で、どのように機能するのでしょうか? このブログでは、DeoVR の VR の空間オーディオについて知っておくべきことをすべて説明します。
空間オーディオはどのように機能するのでしょうか?
空間オーディオを使用すると、現実生活で頭を動かしたり回転させたりするときと同じように、VR でサウンドを体験できます。これにより、仮想現実で見ているものとオーディオが完全に一致し、より深い没入感が実現します。
空間オーディオ(3D オーディオまたは 360 オーディオとも呼ばれます) は、視聴者の頭の動きに合わせて音が変化するオーディオ体験です。3D オーディオ エフェクトは、ステレオ スピーカー、サラウンド サウンド スピーカー、スピーカー アレイ、またはヘッドフォンによって生成されるオーディオ波形を操作します。
これには、リスナーの後ろ、上、または下を含む、シミュレートされた 3 次元空間内の任意の場所に、仮想音源をシミュレートして配置することが含まれます。方向、距離、環境要因を考慮して、コンテンツ作成者はサウンドトラックを作成するときにこのタイプの「空間指向」オーディオ エクスペリエンスを作成します。空間オーディオはアンビソニック オーディオ形式を使用します。
Ambisonics（アンビソニックス）とは何ですか?
アンビソニックスは全球サラウンド サウンド フォーマットです。水平面に加えて、リスナーの上下の音源もカバーします。
アンビソニックスは、サウンド処理のすべての段階でマトリックス コーディング システムを提供します。マイク信号の録音には A フォーマット、スタジオ サウンド処理には B フォーマットです。アンビソニックス システムは、モノラル、ステレオ、およびサラウンド システムとの完全な互換性を提供し、ピッチ情報を追加することによって「ペリフォニック」システム (ギリシャ語で「コーナー付近の音」を意味する言葉に由来) を提供することもできます。
主な信号マトリックス形式は次の操作です。
A フォーマットは、次のように四面体上に配置された 4 つ (またはそれ以上) のカーディオイド マイクから得られた信号によって形成されます (図 1 を参照): 左前方は LF、右前方は RF、左後方は LB、右前方は LBリアはRBです。これらの信号は、分散マイクからのモノラル信号を適切にパンすることによっても生成できます。
B フォーマットでは、A フォーマット信号の和差変換によって得られた信号が使用されます。
X=0.5(LF-LB)+(RF-RB)
Y=0.5(LF-RB)+(RF-LB)
Z=0.5(LF-LB)+(RB)
W=0.5(LF+LB+RF+RB) この信号は、すべての信号を同相で加算することによって得られます。B フォーマット信号は、図 4a に示すマイクの組み合わせを使用して直接生成できます。つまり、X、Y、Z 信号の 3 つの垂直方向に向けられた「8 の字」指向特性を持つ 3 つのマイクと 1 つの無指向性マイクです。マイク (拡張 MS ステレオフォニー)、W 信号を生成します (図 2 を参照)。
アンビソニックスは、空間オーディオのキャプチャ、送信、デコードに広く採用されている形式で、1、4、9、16、または 25 チャンネルを使用します。
DeoVR用の空間オーディオVRコンテンツの作り方
まず、Ambisonic A 形式を B 形式に変換する必要があります。
空間マイクごとに、アンビソニック B フォーマットは異なる方法で変換されます (たとえば、Zoom H3VR は、マイク設定で選択されている場合、B フォーマットを記録します。つまり、これらの手順のステップ 1 ～ 5 を実行する必要はありません)。マイクの仕様を確認して形式を確認してください。
Facebook 360 Workstationをダウンロードしてインストールします(代替リンク)
DeoVR プレーヤー用の空間オーディオ TBE (Two Big Ears) ファイルを作成する方法の例として、8 チャンネル Voyage Audio Spatial Mic を取り上げてみましょう。
TBE フォーマットは、Facebook の Spatial Workstation で採用されている 8 チャネル フォーマットであり、Facebook の 360 ビデオで利用できる「空間オーディオ」8+2 チャネルの一部です。以下に示すように、TBE は基本的に 2次アンビソニックスであり、アンビソニックスの 2次チャンネル (R) の 1 つが削除され、チャンネル数が 8 に減ります。
1) Reaperで録音されたオーディオ ファイルを開きます。このファイルはマイクのみで録音されたため、アンビソニック A 形式です。
2) B フォーマットに変換するには、無料のプラグイン会社マイクを開く必要があります。これを行うには、FX > Voyage Audio > Spatial Mic Converter > Add を押します。
3) 必要に応じて設定を調整します。
4) すべての準備が整いました。イコライジング、コンプレッション、リミッターなどのエフェクトを使用してマスター トラックを処理できるようになりました。
5) オーディオをレンダリングします。メニューで Stems を選択し、手動で 9 チャンネル (1 次の場合は 4 チャンネル) を配置し、Render を押します。
6) 次に、オーディオ トラックをビデオにバインドする必要があります。これを行うには、 FB360 Spatial Workstationに入り、次を選択します。
出力フォーマット: FB360 Matroshka (実験的)
空間オーディオ: B フォーマット (2次ambiX)
空間オーディオ ファイル: 9 チャンネル オーディオを選択します
ヘッドロック ステレオ:空にするか、ステレオ オーディオ ファイルを選択します (必要な場合)
ビデオファイル:ビデオファイルを選択します
エンコードを押してください
重要！
このステップをスキップしないでください。完成した MKV ファイルに 2 番目のオーディオ ストリームを追加する必要があります。これを行うには、次のことを行う必要があります。
1. MKVToolnixをダウンロードします。
2. ステレオ/モノラルトラックを準備します。AACコーデックを使用する必要があります。これには、AIMP オーディオ コンバータなどの任意のコンバータを使用できます。
出力形式を最大ビットレートの AAC または AAC m4a 形式に変更する必要があります。
次に、MKVToolNix をロードし、最初のブロックにビデオとオーディオを追加します。2 番目のブロックでは、AAC オーディオを下に移動します。次に、「開始」を押します。
役立つリンク:
DeoVR での動作をここで確認して聞いてください: The Conscious Outlaws - I'd better Be Homeless Than Home with You (アコースティック バージョン)
空間オーディオ DeoVR 仕様の全文をお読みください。
FB360 ワークステーションの詳細については、この PDF ガイドを参照してください。
空間オーディオの録音についてご質問がある場合は、audio@deovr.comまたはevgeniy.kordiuk@deovr.comまでお気軽にお問い合わせください。