Beat Saberでアバターを動かしたい
Quest買ってからBeatSaber楽しくてずっとやってる。
少し慣れてきたから、自分がどう動いているのか見たくてアバターを表示してみたけど、もっと自分と同じように動いて欲しい想いが高まったから頑張ってみた。
目次
Quest版BeatSaber＋Questでアバターを表示
Steam版BeatSaber＋Questでアバター表示
Steam版BeatSaber＋仮装トラッカー＋Questでアバター表示
Steam版BeatSaber＋仮装トラッカー＋スマホのTDPT＋Questでアバター表示
Steam版BEAT SABER＋仮装トラッカー＋PCのTDPT＋Questでアバター表示
比較動画
1．Quest版BeatSaber＋Questでアバターを表示
お手軽にQuestだけでアバターを表示してみた。ここがはじまり。
使ったものは３つ
・VRM Qavatars
・Replay
こちらサイトを参考に設定しました。
ただ設定するだけだと手がグニャってなるけど、アバターの設定で回転（X rotation : -50, Z rotation : 90）させたら違和感なくなった。
アバターはBOOTHでvrm形式のモデルをダウンロードして使ってみて。
良い点
リプレイを録画できる
リアルタイムにカメラ移動して好きな画角を決めやすい
ボタンに表情を登録しておいて、リプレイ中にリアルタイムに表情を変えられる。
他の人のリプレイにもアバターを表示して見れて楽しい。
プレイ後、ヘッドマウント被ったまま見れる。
悪い点
3点トラッキングなので腕だけブンブンしてて映えない。
下半身ほとんど動かない。
体を捻っても正面向きっぱなし
ワイプは1画面だけ
Quest単体だとこの辺が限界ぽい。VRM Qavatarsの設定に全身のIK設定があるけどトラッカー持ってないと使えないのかな？
これだけでも楽しいけど、もっとアバターを動かしたいと思いSteam版手を出してみた。
2．Steam版BeatSaber＋Questでアバター表示
使ったのは４つ
・Virtual Desktop
・ばもきゃ有償版
・CameraPlus
・OBS
PCとはVirtual Desktopで接続。Air Linkでもできる見たいけどやったことない。
バーチャルモーションキャプチャー（通称”ばもきゃ”）を使うとSteam版BeatSaberの画面にアバターを表示してくれる。
センサーはヘッドマウントとコントローラーしかないので基本的なアバターの動きは１と同じ。
何もしないとアバターが白飛びするので、こちらの記事を参考に対応。
ゲーム内でBloom Post Processをオフにするとカスタムセイバーが光らなくなったので、私はVMCAvatarMaterialChangeを導入しました。
CameraPlusのMODを入れると良くYoutubeとかで配信されてるような画面構成を実現できる。
ずっとQuestの画面にメニュー出ないから悩んでたけど、PCに表示されてるBeatSaberの画面を右クリックで編集できる仕様だった！
OBSで録画。ただ録画するだけなので難しいことない。ソースにBeatSaber選択して、表示された画面が全部表示されるようにサイズを変更するだけ。
撮れるモーションについては１と同じ。棒立ちで左右にふらふらするだけ。
むしろ１の方が設定のおかげで歩いてるっぽい感じがするぐらい。
１との比較
良い点
録画用のレイアウトが自由でカメラも複数設置できる
悪い点
PCも使うのでゲーム始めるまでが面倒
ゲームのプレイをそのまま録画するので後から表情変えたりとかはできない
PCの購入が必要
ばもきゃの課金（300円/月）が必要
ここまでならQuest単体でプレイした方が簡単で気軽に遊べていい感じ。
３．Steam版BeatSaber＋仮装トラッカー＋Questでアバター表示
使ったのは４つ
・Virtual Desktop
・ばもきゃ有償版
・CameraPlus
・OBS
Virtual Desktopの仮装トラッカーという機能を有効にします。
これを使うと頭とコントローラーの位置から推測していい感じにそれ以外の部分を動かしてくれる！すごい！
仮想なので足上げたりしてもわかってくれないけど、体を捻ったりとか自然な動きにしてくれる。
ちなみにQuest３のセンサーを使っているようなので、Quest３以外だとあまり効果がないのかもしれないので注意。
使い方はVirtual DesktopでSTREAMINGの設定内でForward tracking data to PCとEmulate SteamVR Vive trackersにチェックを入れるだけ。後はばもきゃの設定で頭と両手以外のトラッカーに仮装トラッカーを割り当てるだけ。
両手のトラッカーを仮想トラッカーに割り当てると、BeatSaberの操作ができなくなってしまうので注意。
私はこれに気が付かず泣きそうだった。
２との比較
良い点
上半身の動きが自然になる
悪い点
Virtual Desktopの購入が必要
だいぶ良くなってきたけど、みんなの動画と比べるとやっぱりステップが表現できないのが悲しい。
４．Steam版BeatSaber＋仮装トラッカー＋スマホのTDPT＋Questでアバター表示
TDPT -Three D Pose Tracker-を使うとスマホのカメラの画像から全身のモーションが取れるのでそれを利用してみる。
使ったのは５つ
・Virtual Desktop
・ばもきゃ有償版
・CameraPlus
・OBS
・スマホのTDPT
スマホのTDPTはデータをPCに送る機能が制限されていて、制限解除には600円の買い切り課金が必要。
TDPTの使い方
１．課金後の⭐️メニューでUsing VMC Protocolにチェックを入れて、IP addressとPort番号を入力。
２．ばもきゃでモーション受信（VMCProtocol）の「OSCでモーション受信を有効にする」にチェックしてPort番号をTDPTと揃える。編集で受信する部位を選ぶ。
３．ばもきゃの使用トラッカー設定で腰、両膝、両足にトラッカー（自動検出）を割り当てる。
４．腰のボーンを修正にチェック入れる。チェックを入れないとしゃがんだ時に空中に浮いちゃう。
３との比較
良い点
足が上がる！躍動感が増す！
悪い点
スマホが必要
全身が撮れるようにスマホと自分の間に物がないスペースが必要
良い感じになってきた！
スマホからPCにデータを送っているせいかラグがあるけどやっぱり足が動くの良い。
PCのアプリでもTDPTあるので、PCにwebカメラつけてやればラグも解消されてもっと良くなりそう。
５．Steam版BEAT SABER＋仮装トラッカー＋PCのTDPT＋Questでアバター表示
先に結果を言うと失敗。たぶんPCの性能だと思うけど全然動かなくなった。
使ったのは５つ
・Virtual Desktop
・ばもきゃ有償版
・CameraPlus
・OBS
・PCのTDPT
PCにwebカメラ繋いでTDPTのアプリを使ってみる。
webカメラはお勧めされたこちら。
TDPTのソース選択でカメラは選択できるのに映像が取得できなくていろいろ設定をいじっていたけど、PCのカメラ設定からローカルアプリへのアクセスを許可とか、そんな感じの設定をいじったらできるようになった。たぶん。
PCのTDPTの設定は送信する部位が選べるので、必要なものだけ選んで送信。
その他の設定は４と同じ。
４との比較
良い点
スマホいらない。
ラグは少なくなるはず（予想）
悪い点
たぶん高性能なPCが必要
私の環境だとラグ以前にPCが急激に重くなってまともにゲームができなかった。。。
足がほぼ動かない。泣ける。
参考までに私のPC環境
・intel Core i7 8700K
・16GB
・NVIDIA GeForce GTX 1070 Ti 8GB
・SSD240GB
このくらいのPCだとスマホのTDPT使った方が幸せ。
という事で、私の環境だと仮想トラッカーとスマホのTDPTを併用して使うスタイルが一番良さそう。
だいぶ満足しつつ、やっぱりトラッカーの人の方が軽快に動いて見えて羨ましい。
素直にトラッカー買えば良いのだろうけど、お高いし、遊ぶ前に装着したりトラッカー充電したり管理がめんどうそうだし今一つ踏み切れないのでここまで！
もう少し気軽にフルトラ環境構築できるようになると良いな。
ここまでするのにいろいろ問題が起こりつつ調べながら設定できた。めちゃ時間かかったけど先人の知恵と記録に感謝。
今の問題はCustom Notesでデフォルトのノーツのサイズ変更ができない事。ノーツのデザインは変えずに小さくしたいだけなのにできない。。。Quest版だとできたのにどうしてぇ。解消方法知っている人教えてください。