Hello1103 Live:VR Experience 環境構築レポート（物理で殴る・ハードウェア構成編）
先日の記事では「Hello1103 Live:VR Experience」の概要を説明しました。
ここから2回に分けてVRライブを実現する技術情報をお届けします。今回は基盤となるシステムの機材面について。
ちょっと専門的な部分もありますが、なるべく端折らず書いていきます。
前回の記事はこちら（「リアルVRライブ」のすすめ - Hello1103 Live:VR Experienceとは何か）。
全体像
まずはステージの概略図をご覧ください。
（ホールを上から見た図。上側がステージ、下側が客席）
青い線が音声信号、赤い線が映像に関する信号です。
「DJ」「 VJ」で表されているのがステージ上にある演者のメインマシン、「VR1...4」が視聴者に1台ずつ割り当てられるVR再生機で、VJマシンとVR再生機はL2スイッチを介して同じLANに参加しており、相互通信を行っています。
映像関係の装置の方が音声関係より多いですね。
VJマシン（映像制御端末）
VJ (yukako) が操作するマシン。タッチパネル式ノートブックにTouchDesignerで作成したコントロールパネルを表示して演奏します。
Hello1103の通常のライブではVJマシンから映像を直接出力しますが、VRライブでは映像そのものではなく制御信号（OSC）を出力しており、実際の映像はVR再生機の内部で生成されます。
VJに慣れている方だと、VJマシンから映像を直接出すほうがシンプルに感じるかもしれません。そうしない理由はいくつかあります。
- VR用の映像はビットレートが非常に高い。Oculus Rift Sの解像度は片目で1280x1440（立体視に対応させる場合は両目に異なる映像を送るので2560x1440）、かつ推奨フレームレートが80fps。これをマルチキャストで再生機全てに送信するとL2スイッチにかなりの負荷がかかりそう
- 映像自体を送信する形式だと、視聴者側では視点の回転はできても移動ができない。視聴自由度の低下が没入感の低下に繋がる
これらの懸念があり、品質と拡張性を考えて今の方式を採用しました。
制御信号は
- 楽曲の進行や音に反応して自動的に送信されるもの
- コントロールパネルから手動で送信するもの
の2種類があります。
生演奏という性格上、音楽も映像も現場のノリで生きもののように変わっていくので、ある程度までのヒューマンエラーを容認したり、ピーキーな値も送信できるようにしたりなど、リアルタイムに映像を生み出していける余地を残した設計にしてあります。
自分たちが扱うVJソフトに関しては、楽器のように楽しく「映像を演奏する」デザインが理想かなと思います。
VR再生機
VR再生機といっても特殊な機械ではなく、俗に言うゲーミングPCです。
使用パーツはそれぞれ微妙に異なるものの、どれもVR Readyのミドルクラス構成で、このマシン上で起動したWindowsとTouchDesignerでVRゴーグルを制御しています。
ここが本システムのいわば心臓部。ここについては次回詳しく書きます。
ちなみに再生機4台のうちひとつはHello1103の開発機を兼ねています。
スペック的には一番盛ってるので、これに当たった人はちょっとラッキーかも。
DJマシン（音声出力・リズム依存の映像トリガー）
全体図でDJと書いてあるのが音楽演奏用マシンです。
このマシンからは音声信号のほか、キックなどに反応する映像エフェクト用トリガーが出力されます。どちらもEthernetでL2スイッチに送られ、音声信号はDanteでオーディオインターフェイスに、映像トリガーはOSCでVR再生マシンに送信されます。
Danteと他の通信が同じネットワークを利用することはあまり推奨されないようですが、これを分けるためには各ソフトでゲートウェイの設定を適切に行う必要があり、実際にTouchDesignerでゲートウェイの設定がうまくいかなかったこともあって現状の構成に落ちついています。
リア／トップスピーカー（イマーシブオーディオ対応）
視覚と聴覚の関係というのは不思議なもので、普段ライブを聴いているときはステレオのサウンドシステムで存分に楽しめるのに、VRだと物足りない音に感じる、ということがありました。VRゴーグル内で壮大な景色を見ているとき、そこに響く音声にも無意識のうちに相応の迫力を求めてしまうようです。
迫力あるVR映像に負けないサウンドを獲得するためにサウンドチームも毎回試行錯誤を重ねています。
ライブハウス常設のステレオスピーカーに加え、背後にリアスピーカーを2発設置。さらに頭上にトップスピーカーを2発設置し、4.2.2イマーシブオーディオのシステムを構築しました。（サラウンドに上下の概念を追加したのがイマーシブオーディオ）
たまにムシャクシャしてさらにサブウーファーを足したりしてます。日によって結構違う。
特設サイト公開
VRライブのサイトを公開しました。
次回ライブの予定や、関連のニュースなどもこちらに載せますのでぜひチェックしてみてください。
https://hello1103.com/vr/
次回はシステム内部のソフトウェア編です。
Hello1103 Live:VR Experience 環境構築レポート（TouchDesignerによる映像生成編）