バーチャルトマド / リアルタイム配信向け合成エンジン『code:Dish』
#unity #htcvive #バーチャルユーチューバー #DJ #ステージ演出
これは、リアルタイムでCGキャラと実写を合成し、配信を行う演出について、システム・演出制作者目線でまとめた記事です。
2020年6月23日に秋葉原mograで行われた 『LOST DECADE - HOME EDITION - Supported by Budweiser』での tomad (Virtual) 演出を軸に記載します。
『リアルタイム配信向け合成エンジン code:Dish』を開発
tomad (Virtual) のリアルタイム合成用に、Unityベースの『リアルタイム配信向け合成エンジン code:Dish』を開発しました。がんばった。
Dishの特徴は
・複数台のデジタル一眼レフカメラとの連携。
・現実のステージ用ライトとバーチャルライトとの一致。
・現実オブジェクトの前後関係をバーチャルへ反映（DJ卓など）。
・さまざまな演出をリアルタイムに操作。
・現実空間 ⇄ CG空間 の切り替え
目指したのは、本当にそこにいるかのように合成できる環境です。
他にも細かい機能はいろいろありますが、特徴的なのはこれくらいでしょう。今回はARkitが使えないので推定環境光も自力で実装しました。
Unityでできる表現を好きなように組み込めるのがいいところです。
今回のバーチャルDJのほか、バーチャルユーチューバーのライブ、現実のアーティストのライブ配信のリアルタイムCG合成、天気予報やバラエティの生配信も視野にいれて開発しました。
ライティングを一致させる仕組みなどは、メッシュスクリーンへCGキャラを投影する『初音ミク マジカルミライ』のようなステージにも使えそうです。
当日の動き
セッティング
リハ中にもコードを書いていた・・・。ギリギリだった・・・。
tomad (virtual)
常にチャット欄が盛り上がっていました。成功したと言って良いんじゃないでしょうか。tomadさんのDJが良かった。
経験値の高いスタッフが揃っていてほんとに心強かった。
ちなみに1時間半バーチャルトマドを操作すると、死ぬほど汗をかきます。次から着替えとタオルをもっていきます。
tofubeatsさんの配信に荒らしが来た
tofubeatsさんの配信中に荒らしが来て配信が落ちた。
ネットレーベルが主催だとインターネットっぽい事件が起きる…。
チャット欄が「これは陰謀だ！」と盛り上がっていたので、HOMEWORKチームから機転の利いたリクエストがあり、急遽バーチャルトーフビーツ出すことにしました。こういう動きができるいいチームだったな。
バーチャルトーフビーツというのは『陰謀論』のMV用にキャプチャしたトーフビーツさんの動きをする豆腐っぽいキャラクターです。
おもしろかった
大配信時代によってバーチャル(3D)とリアル(実写)の中間の見せ方みたいなのがどんどん出て来て楽しさはあるよな 表現方法いろいろとある中で要点どこにするかみたいなのが大事そう
— トマド (@tomad) June 27, 2020
狂った演出が思い切りできて楽しかった。バイブス大事ということがよくわかる。今後も狂った演出につかっていきたい。
今後
依頼は、ボクに連絡もらえれば、相談のれるとおもいます。
huezでもいいかも。
今回のイベントで課題も見えたので、今後も発展させていきたい。
締め
「code:Dish」の開発には、
ライティングとVJを担当したhuez、カメラと配信まわりを担当したHOMEWORKチームのみなさん、名前の出ていないスタッフの方々、それからtomadさんの協力が不可欠でした。ありがとうございます。このチームじゃないと、こんなにスムーズじゃなかったとマジで思います。
あとはインターネットに公開されている様々な知見。ありがとう~。
-Virtual tomad and Virtual tofubeats-
『LOST DECADE - HOME EDITION - Supported by Budweiser』
DJ : tomad , tofubeats
Virtual Direction : REEEZND
Camera Switch and Effect Switch : スケブリ
Lighting Design (Real + Virtual) : huez
FilmDirection : HOMEWORK PROGRAM
補足。バーチャルトマドは『マルチネボーカロイドスクール』という配信番組から生まれた『ランク王国』的なキャラです。
いいなと思ったら応援しよう！
