Warudo+Rebocap+DAWでVtuberの3Dフルトラライブ演出を作った話①

おばんです古川ノブです。
動画勢Vtuber兼音楽系Vtuberとして色々やっています。

今回は2024年8月24日に行われた友達のクリエさん（https://x.com/Curie_Vcreator）の3Dライブで行った制作関係の話と実際にライブを行って気付いた課題について雑記的に書き留めていこうと思います。
フルトラで3Dライブをやりたい人の参考になれば幸いです。なるか？

実際行われたライブ配信はこちらです。

【3DLive】CRIÉ∞!／新衣装公開+重大告知有!【#クリエ5周年記念LIVE】

手軽にフルトラ3Dライブをしたい

昨今Vtuber向けのモーションキャプチャースタジオが都内を中心に増えてきており、3Dフルトラライブを行うVtuber、Vsingerさんが増えたように思います。
しかしその利用料金は低価格帯のプランでも10万円程度と、決して容易に用意できる金額ではありません。
そうした商業用のスタジオは業務用モーションキャプチャーシステムの「OptiTrack」や「VICON」など、一台数十万円～数百万円のカメラを何十台も使用しているところがほとんどです。

「Vtuber向けのスタジオはほぼ都内にしかなく、しかも安くても10万円という価格帯なのに半年先の予約まで埋まっている」という状況を見て「もっと個人Vtuberが気軽に3Dフルトラライブをできるように出来ないかな…？」と考えていました。

そうこうしているうちになんでも出来る3Dトラッキングソフト「Warudo」が普及し始め、さらに安価なモーションキャプチャー機材の「Rebocap」の登場、そして友達であるクリエさんからの3Dフルトラライブをしたいという話が持ち上がり「よし、じゃあ現時点でどのくらいのライブが作れるかやってみよう！」と思い立ったのが今年の5月頃の話。
そこからWarudoに詳しい三十六いざよ （https://x.com/3to613）とタッグを組んでクリエさんの3Dライブに向けて実際的に動き始めたのが7月半ば頃、ライブまで約1ヶ月走り続けることになりました。

モーキャプ機材の選定について

当初、モーションキャプチャー機材は自分が所持している
Viveトラッカー8個+ベースステーション4台
の使用を想定していました。
Viveトラッカーは光学式のトラッキングシステムのためHaritoraXやmocopiよりも精度が高くドリフトも起きないため、一般的なトラッカーとしては最も品質が良いと言えます。

ただしViveトラッカーを使用するデメリットとして下記の項目について不安がありました。

・トラッカーのバッテリーが3時間ほどしか持たないため、リハ～本番の長時間運用に耐えられない
・トラッカーが大きく重いため、演者のパフォーマンスに影響が出る
・ベースステーションの設置を行うのにそこそこ大きい部屋が必要
・ベースステーションが赤外線の影響を受けるため、スタジオなど鏡張りの部屋だと正常に動作しない可能性がある

「これで果たして実際のライブで運用できるか…？」と不安に思っていたところに、Rebocapという安価で良いモーキャプ機材が出たという噂を耳にしました。
（Rebocapは中国のメーカーが販売しており、現時点では国内流通はないため公式サイトやAliExpressなどで海外輸入する必要があります）
http://rebocap.com/

価格はなんと15点のトラッカー付きで3万円程度。
Viveトラッカーが1個2万円することを考えると、トラッカー1個あたりの価格は1/10程度です。しかも30時間程度の長時間稼働が可能。信じられない……いい時代になったな……。

光学式であるViveトラッカーと違って、Rebocapは慣性方式のためドリフト（足が滑る感じ）が発生しますが、トラッカー数が多いため全体のキャプチャー精度としては悪くありません。

Rebocapやべー！！苦手な姿勢や多少のドリフトはあるもののやはり15点トラッキングの恩恵はデカいな
トラッカーも小型で軽量、バッテリーも30時間保つと言うしマジで化け物級のコスパだ…
ソフトからVMC出力出来るのでWarudoへの接続も簡単#Rebocap #Warudo pic.twitter.com/xs0BK1DYkp

— 古川ノブ@動画勢Vtuber (@furukawa_nob) July 21, 2024

同程度の価格帯のVR用モーキャプ機材としてはHaritoraX、Uni-motion、mocopiなどがありますが現時点では群を抜いてコスパが良いと思います。
「これだったらViveトラッカーよりも接地感は落ちるものの、だいぶシステムの簡略化が行えるかもしれない…！！」
早速購入し、全体の機材を再度検討します。

ライブで実際に使用した機材

実際にライブで使用した機材を紹介します。
気になる人はURLをご参照くだされ。

---

• モーションキャプチャー Recabop 30,000円 

• スマホチェストマウントホルダー 3,000円
  iFacialMocapでの表情トラッキング用
  ヘッドマウントタイプも試したけど固定感がちょっと微妙+iPhoneの重みで支点部分めちゃ頭いたくなる
  ただしチェストマウントの場合は首を左右に振った際にトラッキングロストしてしまうため注意が必要

• イヤモニ 2,350円
  演者用モニター。Amazonで安くて評判良さそうなので気になって買ってみました。
  もうちょっと予算出せるならSHUREのSE215、SE315あたりとかが定番でよいかも。なんでもいいけど耳に引っ掛けられる（SHURE掛け）タイプがおすすめ。

• ワイヤレスシステム 6,000円
  イヤモニをワイヤレス化する機材。送信機と受信機セットでこの値段は安い！遅延も実用レベルでそんなに気になりませんでした。手元で音量調整できるのも良い。

• ヘッドホンアンプ 5,000円
  オーディオインターフェースのヘッドホンアウトが1系統しかないので増やす用。演者とオペレーターでそれぞれモニターの音量バランスを調整できます。

• オーディオインターフェース Presonus Revelator io 24 25,800円
  6in/8outで内部ルーティングが優秀な配信向きオーディオインターフェース。超おすすめなのに販売終了なっちゃった…。
  演者モニターとOBSに流す音を分けれるため、4ch以上あるオーディオインターフェースをおすすめします。

• ワイヤレスピンマイク Hollyland Lark M2 22,000円
  今回リモートで三十六いざよさんにオペレートしてもらう部分もあったのでDiscord通話用に使用しました。マイク２個付。
  歌唱向けのマイクではないですが、一部楽曲で筋トレをしながら歌うパートがあったのでライブでも使用しています。
  ちなみにLightning、USB-C、カメラ用の3種類の受信機があり、３種類セットだと28,000円なので色んなデバイス持ってる人はセットがおすすめ。

• マイク SM58
  今回はリハスタでレンタルしました。ダイナミックマイクは磁石とかコイルとか入ってるからRebocapの手トラッカーが少し不安定になるっぽい。
  トラッキングが全然できないくらいではないけどちょっと不安要素。

• 自作デスクトップPC 150,000円くらい
  ノートPCでは耐えられないためデスクトップを持ち込みました。
  OS Win11
  CPU Intel Core i5 14500
  RAM 32GB
  GPU RTX3080
  これでもWarudoのFPSは平均60FPSくらいでした。多分自作のステージが重かったかも。

• 31.5インチディスプレイ 34,800円
  オペレーター用。Warudo、OBS画面、Youtubeコメントなどを表示。

• 24インチモニター 11,980円
  オペレーター用。DAW画面、Youtube画面などを表示。

• 15.6インチモバイルディスプレイ 17,000円
  演者用モニター。OBSの画面を表示。 

---

他にも演者持ち込みのスマホやらタブレットやらでコメント確認、カンペ表示などを行っていました。

使用したソフトウェア

• Warudo
  ステージ、パーティクルなどの演出全般。

• DAW Cubase Pro 12
  楽曲再生、WarudoとOBSへのMIDI送信。

• loopMIDI
  仮想MIDIドライバー。DAWとPC内アプリケーションへのMIDI送受信が可能になる。これでWarudoがCubaseからのMIDI信号を受け取れるようになります。

• obs-midi-mg
  MIDIでOBSのソースをコントロールするプラグイン。
  曲名の表示切り替えなどに使用しました。

• iFacialMocap (iOSアプリ)
  フェイシャルトラッキング、つまり顔の表情をモデルに反映させるためのアプリです。FaceIDを搭載したiPhoneが必要です。

• Discord
  リモートでサポートを受けるのに使用しました。
  本番中は歌詞カンペを画面共有してもらい、スクロールしてもらうなど。

現場モニター環境

今回使用したのはモニター3枚、タブレット1台、スマホ1台。

1. 演者カンペ確認用（演者）
   演者持ち込みのiPadを使用。Discordで遠隔スタッフにGoogleドキュメント画面を共有してもらい、進行に応じてスクロールしてもらうという方式を取った。
   ネット回線がやや不安定だったため、ラグにより歌唱部分と歌詞表示のずれなどが発生してしまった。
   プロンプター的な装置があった方がいいか？
   ただ演者はパフォーマンスに集中させたいので、演者に操作させるのではなく現地にもう一人スタッフを置いて操作させるのが好ましいかも。

2. 配信画面確認用（演者）
   OBSのプレビュー画面を表示させていた。
   本来もっと大型の画面で出したいところだが場所、手持ち機材の関係で断念。
   大型ディスプレイを用意して持ち運ぶのも大変なので、プロジェクターが使えないかなと考えています。

3. Cubase&Youtube確認用（スタッフ）
   Cubase（DAW）の画面とYoutube配信画面を二分割して表示させてました。
   「オケ音量でかくない？」などのコメントがついたら即座に確認、対応できるようにしています。
   （常に配信側の出力をモニターできているわけじゃないので音量関係のコメント本当にありがたいです。。。）

4. Warudo＆OBS確認用（スタッフ）
   Warudoプレビューとエディター、OBSを表示させています。
   MC中のカメラ操作やOBSのソース切り替えなどは手動で行っていました。
   また今回Discordでリモートスタッフとのやりとりを行っていたのでDiscord画面も表示させて「トラッキングずれ始めてきてるから次のMCでキャリブレーション行こう」などのやりとりを行っていました。

5. 配信コメント確認用（演者）
   画像には写ってませんが演者持ち込みのiPhoneでコメントを確認していました。
   もう一枚Youtubeチャット欄だけ映す用のモニターが必要かも。

Cubase（DAW）の中身と操作

Cubaseではマイクやオケ音源の再生はもちろん、MIDIトラックによるWarudoとOBSの操作も同時に行っていました。
シーケンスに組み込んでいるので曲中の任意のタイミングで演出が可能になります。

演者モニターとOBSへの出力振り分け

ライブのモニター環境作りもいろいろなやり方がありますが今回はシンプルに演者モニター用とOBS用にトラックを分けました。
出力を分けることによって演者モニターのマイクには多めにリバーブをかけたり、オケ音源にプリカウントを挿入したり、クリックやガイドメロディを聴きながら歌えたりします。
出力が4ch以上あるオーディオインターフェースがあればこのようなルーティングが可能です。
（Cubaseのコントロールルーム機能を使えばもっとスマートにできるかもしれないけど今回は上記の方法でゴリ押ししました）

アレンジャートラックで曲進行管理

DAWでライブ用シーケンスを作る際にはいろいろな手法がありますが今回はアレンジャートラックで楽曲を管理しました。
上記画像ではいくつかの楽曲ブロックごとに分けていますが本来の仕組み的には
「1曲目が終了したら2曲目に飛び、2曲目が終了したら3曲目に飛び、3曲目が終了したらMCに入るので自動的に停止する」
のようなシーケンスを組むことができます。

昔は曲と曲の間に数分間のながーい無音期間をわざと入れておいて、手動で次の曲を再生みたいなことをやっていました（爆）

・プロジェクトが見やすくなる
・MCのタイミングや曲順の入れ替えが容易
・曲中の一部分でループさせることもできる
などメリットが盛り沢山です。アレンジャートラックを有効活用しよう！
（他のDAWに同様の機能があるかはわかんないです！ごめん！）

Cubaseユーザーの方はこちらの動画が参考になるかと思います。
同期活用テクニック vol.3 『ライブで差がつく実践的な活用法』

MIDIでWarudoとOBSをコントロールする

DAWからWarudoにMIDI信号を送ることで曲中の任意のタイミングでノードをトリガーさせたりアセットの値を変更することが可能です。
今回のライブでは主に下記の項目をコントロールしていました。
・アバターの衣装チェンジ（Warudo）
・カメラアニメーションの切り替え（Warudo）
・ステージスクリーンの動画ソース切り替え（Warudo）
・ペンライトパーティクルのカラーチェンジ（Warudo）
・歌詞表示（Warudo）
・曲名表示（OBS）
・オリジナル曲手書きアニメーションの再生（OBS）

今回のライブでは時間が足りず断念しましたがCCを用いて照明の強度、回転などもコントロールできるので実際のライブ照明演出に近いものが組めます。（めちゃくちゃ大変だし処理重くなりそうですが）

loopMIDIのインストールと使い方

DAWからPC内のソフト（Warudo、OBS）にMIDI信号を送るためには仮想MIDIドライバの「loopMIDI」をインストールします。
https://www.tobias-erichsen.de/software/loopmidi.html

特に難しい設定などはありませんが導入については下記の記事が参考になるかとおもいます。
Windowsで仮想MIDIドライバーを使用する方法解説 – AI自動演奏ピアノアプリと接続してDAWで演奏

loopMIDI上での設定は特に必要ありません。

※WarudoをMIDIでコントロールする詳細な方法については長くなりそうなので次回別でまとめる予定です

obs-midi-mgのインストールと使い方

OBSでMIDI信号を扱うには「obs-midi-mg」をインストールします。
https://obsproject.com/forum/resources/obs-midi-mg.1570/

導入や使用方法についてはこちらの記事を参考にさせていただきました
OBSをMIDIでコントロールする

簡単にobs-midi-mgの使い方を説明していきます。
obs-midi-mgをインストールしたらOBSを開いて上部メニュー「ツール」から「obs-midi-mg Setup」を選択しましょう。すると下のような画面が出てきます。

左側のBinding Collectionsから「Untitled Collection」を選択（左下プラスボタンで新規に作ってもよい）
鉛筆マークでエディット画面に入ると下のような画面が出てきます。
（画像は色々設定済みのBinding Collectionです）

①Binding
操作ごとに名前をつけます。一番上のバインドでは一曲目の空色デイズの曲名を表示させるため「01空色デイズ」と名前をつけています。
②MIDIの設定
Device:どのデバイスからMIDI信号を受け取るかを選択します。ここでは前述の「loopMIDI」を選択します。
Type:ノートのオンオフ、コントロールチェンジ、プログラムチェンジ、ピッチベンドの中からどの形式のMIDI信号を受け取るかを選択します。
Channel:MIDIチャンネルを選択。画像では2chからのMIDI信号を受け取る設定です。
Note:どのMIDIノートの信号を受け取るかの設定。画像ではMIDIノート60なのでC3、真ん中のドが発音されたら信号をキャッチする設定。
Velocity:どのベロシティの値を受け取るかの設定。画像では127（最大）のときだけ信号を受け取ります。

ちなみに4つ並んだアイコンはそれぞれ信号の受け取り方を変更できます。
Fixed Value:固定値（特定の数値）
Use Default MIDI Range:すべての数値（0-127）
Use Custom MIDI Range:自分でカスタムしたすべての数値（60-100など）
Toggle Between Values:2つの設定した数値で切り替え？（よくわかんない）
Note Listening for Messages:このボタンを押してから任意のMIDI信号を送るとその信号のデータに設定されます。MIDI Learn機能みたいなやつ。
③OBSソースのコントロール
あらゆるソースの設定を変更できます。今回は画像の表示非表示を切り替えたかったのでカテゴリ「Video Sources」でアクションは「Display Source」を選択しています。
※ややこしいですが動画ファイルの再生などをコントロールしたい場合はカテゴリ「Media Sources」を選択してください

このスクショの場合だと
ch2のノート60（真ん中のド）がベロシティ127で発音されたときに「空色デイズ」の曲名の表示が切り替わる
というバインドになります。

表情トラッキング

表情のトラッキングについてはiPhone（演者持ち込み）とiFacialMocapの組み合わせで行いました。
ヘッドマウントタイプとチェストマウントタイプを比較テストしてみましたがヘッドマウントタイプは頭の支点部分のプレートが額にめり込んでくっそ痛かったので実用レベルではないとして却下、最終的にチェストマウントタイプを使用しました。

ヘッドマウントタイプ、チョウチンアンコウって呼んでた

ピュアシーク 2way スマホ アクションカメラ ハーネス マウント フレキシブルアーム チェスト ホルダー クリップ 体

ただしチェストマウントタイプのデメリットとして演者が左右に首振った場合、表情トラッキングが外れてしまうという問題がありました。
固定具も安定性が高いとは言えず激しい動きはできず、距離も顔とやや近すぎるのか完璧なトラッキングではないため別のソリューションを考える必要があるかもしれません。

ちなみにRokokoで販売されているヘッドマウントが良さそうなんですが295ドル（43,000円）もします。
「たったの43,000円」とか書いてるんだけどバッカジャネーノ！！
なんとか自作できないかな…。

ちなみに実際にモーキャプスタジオの人に聞いた話では、表情コントロール用のスタッフが居てゲームコントローラーで表情切り替えをすることもよくあるそうです。

次回の話

思った以上に長くなりそうなので別記事に分けます。
次回は
・実際にWarudoをMIDIでコントロールする方法
・フルトラライブでRebocapを使用する際の注意点
・ハンドトラッキング（グローブデバイス）について
・ライブ企画のスケジューリングと費用
・ライブをやる上で大変だったこと
・仙台でフルトラライブやりたいVtuber募集
などについて書くかもしれません。

ライブ（歌枠）をやる上で困ってること、機材とかプラグインとかわかんないよ～って方、同じようなライブシステムを作りたい方、Warudoでこういうことできるの～？など質問あればなんでも聞いて下さい！


よかったらツイッターフォローとYoutubeのチャンネル登録などもよろしくお願いします～。

https://twitter.com/furukawa_nob

Nob Furukawa (a.k.a Touhogu Garden)