VR日記その11 -OculusQuestとVMCとLIVを使用してMR動画を作りたい

oshimu

（2021/09/01追記）

最新版の記事はこちら

（↑追記ここまで）

BeatSaberとかでアバターが動いてる動画あるじゃないですか。あれがやりたいと思った。

これとか、

これとか。かっこいい。

①環境構築に必要なもの

調べてみると、VMC（バーチャルモーションキャプチャー）と、LIVというものを組み合わせているらしい。VMCがモーションキャプチャーするソフトで、LIVが合成するソフト。VMCは有志の方が制作されているらしい。すごい。制作者様に感謝。

必要なものは4つ。VMC、LIV、VRM形式のファイル（受肉したいモデル）。そして配信や録画する用のソフト（OBSなど。今回使用したのはWin10に標準装備されている録画ソフト）。

モデルについてはVRoidHubやニコニコ立体からお気に入りのものをどうぞ。今回はニコニコ立体ちゃんを使用した。

ちなみにフルトラではなくOculusQuestを使用した３点トラッキングで行った。最低限のスペース確保でギリギリな部屋の広さなので…

※20201024追記

手順が変わったようです。

②設定

全部ダウンロードとインストールしたら準備完了。VMCとLIVの設定は公式HPに大体すべてが書いてある。

流れとしては、

a. VMCにモデルを読み込ませる

b. キャリブレーション（ちゃんと動く？設定大丈夫？という確認）

c. LIVの設定

d. VMCの仮想カメラの設定

e. 設定した仮想カメラの設定をLIVに読み込ませる

f. VMCのキャリブレーション（実際に動かすための設定）

g. ゲーム起動

h. 合成

i. 録画

という感じ。

つまずいたところを何点か。

d.VMC側の仮想カメラの設定 の際に、LIVとOculusの起動をしていないとカメラが出てこない。下の画像のようになり選択肢がない場合はLIVの起動とOculusがスリープになっていないかを見てみると良い。

画像2

dからhの工程では反復してカメラの位置調整が行える。立ち上げつつゲームごとに調整していくのが現実的だと思われる。

実際にやってみたところ、ゲーム中常に前面に出ようとするゲーム画面とのせめぎあいになることもあった。起動時の設定があればよいが、この辺も相性がありそう。

i. 録画 について。今回なぜOBSを使わなかったかというと、録画の開始時にこのようなエラーが出たため。

キャプチャ

他にレコーデイングソフトが動いているので（二重起動になってしまい）録画開始できないという旨のエラー。切り分けをしたところ、NVIDIA関係ではなくOculusLinkを起動するとこのようなエラーが出ることが分かった。OculusLinkはQuestでSteamゲーをやるのに必須。そのためOBSではできないのではないかと思ったが、Youtubeで探してみるとまれに合成している人がいた。頑張れば回避できるかもしれないと思い探したところ、Oculusの公式サイトに載っていた。

この記事によるとOBSとの連携もできるらしいが、「カメラの調整」項番4の「QuestのIPアドレスを見つけて～」というのが出来なくて挫折した（検索で引っかからない）。今回の目的は録画のみだったし、他に代替があるだろうと思い探したところ、標準機能に落ち着いた（Windows+gで出てくる）。Questとの連携は気力が回復したら再度挑戦するつもり。

（↓※2020/7/22追記）

根本原因が判明した。使っているグラボ（GeForce GTX 1060）にそもそもNVENCの総数が1つしかない。その一つがOculusLinkで使われるため、OBSが使う余地がないという話。巡り巡って下のサイトにたどり着いたので参考にどうぞ。

ちなみに、OBSの設定で「エンコーダ」の部分を「NVENC」でない方法にすればとりあえず録画できそうだということが分かった。NVENCを使用すると録画効率が圧倒的に良いが、ソフトウェアにすると処理が重くなるらしい。

画像3

（↑追記ここまで）

③合成が上手くいかない

準備はできた。しかしBeatSaberはQuest版しか持っていないので合成が出来ない。このために買い直すのもなぁと思いつつ色々検索してみると、このまとめ記事に出会った。

この中で「The Lab」がおすすめされていたため、ダウンロードして合成したみた。結果がこちら。

なんか変だ。合成できていそうでできていない。よく読んでみると、仮想カメラの設定である「externalcamera.cfg」をゲームフォルダの中に入れる必要があった。入れた結果がこちら。

このゲームでは開始ボタンを手で押す必要がるが、ゲーム内に手が出てこなくて開始できない。検索したところ、同じ質問をしている方がいた。ゲームのアップデートで仕様が変わったようで、解決策は現状ないとのこと。

ちなみに、解像度などの関係でどうしてもできない（と思われる）ゲームもある。画面がぐちゃぐちゃになったり、アバターが上手く合成できなかったりするゲームもあった。

ちなみにゲーム無しの動きはこんな感じ。3点でこれだけ動けるので強い。

週末を丸々使ったにしてはパッとしない成果だが、今後も色々試していきたい。VRで色々やっているからにはちゃんとバ美肉もして見たいし。

これから、出来そうなゲームを探していこうと思う。それこそ例に挙げたPistolWhipとか、気になっているOh Shapeとか。ナイトオブクイーンとかもやろうと思っているのでその時にSteamで買うのもいいかもしれない。ただ、ワイヤレスで遊べるというQuestの利点を完全につぶすことになるのが悩ましいところ。そういう意味ではQuestとMR合成は相性良くないのかもしれない。

(↓※2020/7/23追記)

合成に成功しました。

PistolWhipをSteamで購入して合成してみた。

カメラが近すぎた気もするがちゃんとできてて嬉しい。

いいなと思ったら応援しよう！