EM試作②『マリオネット』の舞台裏

はじめまして。こんにちは。

今回のミュージカルサークルEM試作公演第２弾『マリオネット』で舞台監督とテクニカル演出・配信を務めた、ふるやと申します。

今回のオンライン演劇では、「テクニカル演出」と称して技術的な要素をいくつか演出に盛り込みました。公演メンバーや作品をご覧になっていただいた方からも、「何がどうなってるの？？」「リアルタイムでダンスが合ってるのはなぜ！？」という声を頂くことも多いので、技術ネタの解説を少しさせていただきます。

概要を様々な方にお楽しみいただけるように書くように努めますが、技術的観点を知りたい人からだと中途半端、どうなっているか知りたい！という方には少し説明不足な内容になってしまうかもしれません。また、追加で解説をしていければと思います。

ちなみに、下の写真は自宅に構築した本番開始前の「オペ卓」です。

本公演の技術的要素について

1. Zoomの画面を整形し、YouTubeLiveの配信者と視聴者という形での配信
2. 役者のパソコンモニターを照明と見立て、遠隔でコントロールをできる自作アプリ
3. 各役者宅で全く同じタイミングに音楽を流し、リアルタイムでダンスパフォーマンスを実現
4. YouTubeLiveチャットに見立てたチャット画面をプログラムで生成し、そこに実際の視聴者チャットを反映

以上を、同じくテクニカル開発に携わった主宰のモハと共に設計・実装・運用まで行いました。モハはopenFrameworksやOSC通信周り、私はネットワークやサーバ、映像などそれぞれの得意分野を生かして(なんとか)実装しました

Zoomの画面を整形し、YouTubeLiveの配信者と視聴者という形での配信

多くのオンライン演劇(EM試作公演第１弾含む)は、テレビ会議システムzoomの機能を使用して、YouTubeに会議画面を配信することにより行っています。しかし、この手法では、zoom上での会話を脚本の題材にすることがほぼ必須要件でした。

そこで、本公演では、zoom上で演技している役者それぞれのカメラ映像を、配信ソフト「OBS」によりキャプチャ処理することにより、zoomであることを視聴者に悟らせない配信画面を創り出しました。

また、今回の作品では「リカちゃん」というYouTuberが、最も大きな画面サイズで登場しました。彼女の自宅にHDMIキャプチャボードとデジタルミラーレス一眼カメラを送付することで、YouTuberっぽい画質に近づける工夫をしました。(zoomやキャプチャを通すので画質はそこまで良くありませんが、色味などでは再現ができたかと思います)

ちなみに、zoom上には後ほど紹介するチャット画面担当やzoomの音声共有機能を用いて効果音を流す担当も入っており、役者の演劇に合わせてオペレーションをしていました。

役者のパソコンモニターを照明と見立て、遠隔でコントロールをできる自作アプリ

今回の公演では、役者がダンスをするシーンがありました。そこでは、zoomで参加している役者のPC画面の色を動的に変化させることにより、舞台照明的な演出を行いました。

これは、各役者のPCで起動している自作アプリ(openFrameworksで実装)に対して、オペレーション側からOSC(音響/映像機器の制御に用いるUDP通信プロトコル)で信号を送出することにより、実現しています。以下、役者用自作アプリとオペ側画面(Maxを使用)です。

ミュージカルサークルEMでは、2019年度3月公演『Flower』の時にも同じWiFiネットワークに接続した状態で、同様の演出を行いました。しかし、今回はオンライン上。通常、自宅のコンピュータにはグローバルIPアドレスが振られていないため、直接通信ができません。そこで、今回はさくらインターネットのVPS(ヴァーチャルプライベートサーバ)を契約し、VPNサーバを構築して役者に接続してもらうことにより、各クライアントに振られたプライベートIPアドレスで直接OSC信号を送出・受信できるようにしました。

各役者宅で全く同じタイミングに音楽を流し、リアルタイムでダンスパフォーマンスを実現

突然ですが、zoom上でダンスを踊ってみたことはありますか？もしくは一本締めをしようとしてみたことはありますか？なんとなくご想像いただけるかと思うのですが、zoom上で誰か一人が音を流して、それに合わせて踊ると、遅延でバラバラになってしまいます。

そこで、本公演では標準時刻を基準にして、全く同一のタイミングで音楽が再生できるようにする機能を、前述の照明アプリに盛り込みました。

例えば、現在が13時15分30.000秒だとします。音楽を流したい瞬間がやってきたら、音楽オペ側がMax上のキューボタンを押すと、13時15分30.000秒に1000ミリ秒(1秒)加えた時刻(=13時15分31.000秒)が役者側に送出されます。この時間に役者アプリがあらかじめ用意された音楽を流すことにより、同時再生を実現しています。

配信を行っているPCにおいても、同じタイミングで音が流れ出しますが、役者から配信を担当している私の家に映像が届くまでのラグ分400msほどの遅延を加えて、配信側に流しています。

YouTubeLiveチャットに見立てたチャット画面をプログラムで生成し、そこに実際の視聴者チャットを反映

今回の作品では、YouTubeLive風のチャットが表示されていたかと思います。あの部分も、プログラム(openFrameworks)でリアルタイムに生成を行っていました。元から用意されている脚本上のチャットに関しては、あらかじめアプリに組み込まれており、チャットオペ担当の操作によって表示が変更されます。

更に、実際の視聴者のチャットも取得し、劇中のチャットに掲載するという実験も行いました。こちらは、YouTubeのAPIを叩いてコメント欄の内容を取得するプログラム(Python)を前述のVPS上で走らせて、Webサービス(nginx)の公開ディレクトリにコメント内容のJSONファイルを書き出し、それをオペ側で取得することにより実現しました。

視聴者チャットを反映させるオペレータは、脚本上のチャットオペレータをする人と別の人が担当していました。基本的には、送っていただいたものを全て掲載していましたが、ネタバレや荒らしを含むチャットの対策として、掲載可否を個別に判断できるようにしました。

おわりに

最後まで読んでいただきありがとうございました。速報的な記事で、説明が不足・わかりにくい箇所も多々あったかと思います。もし、好評でしたら、個別の内容について詳しく記述する記事なども投稿したいと思います。

ご紹介した技術的要素により、「zoom演劇」では参加が難しかった音響や照明を始めとした演劇裏方スタッフたちが輝ける土壌ができたのではないかと考えております。演劇的な視点からの考察は、主宰で同じくテクニカル演出のモハからも上がっておりますので、ご覧になってみてください。

作品をご覧になった皆さま、また記事を読んでくださった皆さまに厚く御礼申し上げます。ありがとうございました。