見出し画像

カメラを使ったフルトラッキング知ってそこそこ使えるようになるまでの話 ～VRchatの壁　第２章～

ヒロ/VRCフルトラ猫研究所所長(フルトラッキング研究家)

＊色々若干修正を加えています。

こんにちは。hiroです。こちらは前回の続きです。

VRchatって何？メタバースって何？という方は、上記の記事とリンクを
まず、ご確認ください。
残念ながら、この記事はそういった人向けの記事ではありません。

今回以降、書く内容は、VRchat内の「フルトラッキング」についての
話だけになっています。

お砂糖とかほかのVRchat文化について知りたい方は、上記リンクにある本を読まれることをお勧めします。私のようなフルトラ難民が語る立場にありませんし、そもそも先人たちが熱く語っておりますので、そちらの記事をよまれることをお勧めします。

・・・・・・では、私がハマっている「カメラを使った」のフルトラッキングについて書いていきたいと思います。


そもそもフルトラッキングって何？

とはいったものの、「フルトラッキングってそもそも何よ？」っていう方もいらっしゃると思うので、下記の動画と記事を見ていただきたいと思います。

すんごく簡単に言うと、Oculus　Quest2のようなVRゴーグルをつけただけだと、頭と両手の3点しか操作できません。

そのため、ほかの箇所を動かしたい場合は、トラッカーと呼ばれるものを購入し取り付けて、足やひじ、ひざ、胸などをVRchat上で動かします。

頭と両手だけでなく、足と腰以上のものを動かすことができることを「フルトラッキング」と言います。

フルトラッキングの種類

先ほどのネム先生のように、動かすときに「トラッカー」などを取り付けて操作することを、ここでは仮にですが、「ハードウェア系フルトラッキング」と言わせていただきます。

私はトラッカーを買ったこともないし、使ったこともないので、このハードウェア系フルトラッキングについては詳しくありません。

なので、もしハードウェア系のことを知りたい方は

をお勧めします。私が使っているのは、AIを使った「モーションキャプチャー系」のフルトラッキングで、「トラッカーをつけて行う」フルトラッキングとは、共通点はありますが、結構違うものなのです。

同じフルトラッキングなのに、何が違うの？

ハードウェア系フルトラッキングの共通点は、「体に身に着ける」アクションが必要なことです。対してモーションキャプチャー系のフルトラは、VRゴーグルとコントローラだけで、フルトラッキングが可能です。

・・・とだけ言われると「だったら、モーションキャプチャー系のほうが絶対いいじゃないか！モーションキャプチャー系にする！！」と思ってしまいますよね。

しかし、現実はそんなに甘くありません。
この記事は、そういった幻想を打ち砕く記事でもあるのです。

モーションキャプチャー系フルトラの最初の壁：そもそもちゃんと認識しない

と言っても、伝わらないと思いますので、まずは、この動画の6：30ぐらいの結果を見てみましょう。

といった感じで、初めの時にコツを全く知らないと、全然うまくいかずに挫折してしまうのがモーションキャプチャー系の特徴なのです。

何度もいいますが、これが普通です。

実は、モーションキャプチャー系で結構うまくやっている方は、このソフトの仕組みや元々別のソフトでやりなれている方が多く、この最初の壁をすんなりと突破していきます。（もしくは過去に苦しんでいる）

なので、こちらの方のようにはまってしまうが普通だと思った方がいいのです。そうかなぁ？と思ってしまった方、壁を越えています！！おめでとうございます。

ちなみに、私はこちらの方と同じPCとソフトを使っていますが、上記のような下半身が埋まるようなトラブルは、最初から起きていません。また、最初はカメラの台数は2台から調整していくのがベターかなと思っています。

なので、もし挫折をしてしまった方がいらっしゃいましたら、ぜひ私に相談ください。ツイッターもやっていますので気軽にフォローしていただければと思います。動画の方が挫折されていないことも祈っております。

モーションキャプチャー系フルトラ（モーキャプ系）の仕組み

とはいっても、自分はプログラム作れるほどめちゃめちゃ専門家でもないし、公式サイトに詳細が書かれているので、ここは紹介程度で誰にでもわかるように簡単にざっくり説明します。

ものすごーくざっくり言うと、私が使っているMocapForAllは

①カメラ２台以上を使って、映っている範囲で１人のみの骨格を認識
②VMTと呼ばれる仮想トラッカーのソフトにデータを送る

役割を持っています。で、これ以降は別のソフトたちによって
仮想トラッカーがトラッカーとして認識するようになり、VRchat上に反映することで初めて使えるようになるのです。

つまり、MocapForAllは、複数あるソフトのうちのあくまで１つのソフトに過ぎないのです。なので、もし、トラブルが発生した際は、SteamVR、MocapForAll、ＶＭＴ、ＶＲchatのどれに問題があるのか、確認することがすごく大事なのです。

さらに私の場合は、Oculus Quest2をPCVRモードで使用しているので
そこにOculusのPCVR用のソフトも入ります。

ちなみに、初期設定をされている様子は、別の方が詳しく書かれています。
参考にリンクをはらせていただきますね。


ちなみに、初期設定から10点トラッキングに至るまでにハマったところは、仮想トラッカーがSTEAMVR上で表示されないトラブルと10点トラッキングのやり方がわからないところでそこそこ詰まりました。

仮想トラッカーがSTEAMVR上に表示されないトラブルは、VMTが原因で、VMTの公式に対策も書かれていましたので、もし、同じ悩みがありましたら、そちらを確認してください。私はディスコードでMocapForAllの方に聞いてしまいましたが、やさしく教えていただきました。（公式サポート外ですが、対応ありがとうございます）

また、10点トラッキングがVRchat上で楽しむためには、Steam上でIKベータのテストに申し込みしないといけないので、その点も十分ご注意ください。
申し込みをしない場合は、6点のままかと思います。

もともとフルトラやっている人はすんなり通ってしまうレベルのことで通過済みかもしれませんが、初めてやろうと思った私は、ここでつまづきました。

なので、VRchatをやるうえで公式ディスコードは必ずチェックしておいた方がいいと思います。英語なので、わからないという人は、こちら訳してくださった方のを張っておきます。


モーションキャプチャー系フルトラの2つ目の壁：ハードウェア

実はモーションキャプチャー系（MocapForAll）は、「カメラ」によってだいぶトラブルの量や質が決まってきます。というのも、先ほど言ったように①カメラ２台以上を使って、映っている範囲で１人のみの骨格を認識するからです。

つまり、使っているカメラを映す範囲が狭いと、自然と2台のカメラが映る範囲は狭まってしまい、「全身」写っていないといけないことになるため、結構広角のカメラでないといけないのです。

この感覚が結構わからないため、カメラを3回買い換えています。1回目は、角度が狭くてNG、２回目は、fps性能が低いのと歪みが大きかったのでNG、3回目になって、やっと動作し始めてきたという感じです。

なので、もし、カメラを買っていない方は、めちゃめちゃ詳しい先人（Mocapforallを使っている人ならみんな知っているんじゃないかくらいの人）の方のこちらのGoogleドキュメントを参考してください。

ちなみに、モーションキャプチャー系で一番大事なのは、人と比較しないことと挫折しないことかなぁと思っています。2021年7月の段階で先人ができているのに自分はできない・・・なんて自分を追い詰めたり、思わないでください。

VRchatはそれぞれの分野の非常に優れた人が来やすい環境にあります。

なので、「全然できないや」とか「あの人はすごくうまくできるのになー」と人と比較したりすると、すぐに挫折しがちです。続けるためにも、そこらへんの心構えや余裕は知っておいた方がいいと思います。

で、私がnoteでわざわざ書いているのは、「Googleで検索しても、全然モーションキャプチャー系のフルトラのネタが出てこない！特にMocapForAll」と思っている人がひょっとして、結構多いのではないかと考えたからです。

実は、VRchatの話が文章化されるのは、主にDiscordとTwitterです。で、MocapForAllのVRchatに関することはほとんどDiscordで話されています。
なので、もし、MocapForAllを利用する場合は、Discordを必ず確認してください。

これ！超重要です。

ググるよりdiscordをなめまわしてみたりしたほうがいいことがあります。しかも、わからない場合は、公式に問い合わせも可能です。ググることに慣れている方は、ディスコードに慣れておくことをお勧めします！

モーションキャプチャー系フルトラの3つ目の壁：部屋

せっかくカメラを買えたといっても、部屋が広くなければ、できないばあいがあります。実はこれが最大の物理的な壁と言っても過言ではないでしょう。

先ほどの動画を上げてくださった方は、部屋の広さは完全にクリアしているので、実は最大の壁をすでにクリアしているのです。やったね！

しかし、ほとんどの人の部屋は6畳のスペースを確保できれば御の字というひとも多いのではないでしょうか？そういった場合は、こちらの公式に張られている動画をお勧めします。

部屋の大きさはどうしても限りがあるので、こちらの方法は参考になると思います。

モーションキャプチャー系フルトラの4つ目の壁：表現力の精度

当然ですが、トラッカーをつける点と比べ、表現力は結構落ちます。

ここはマシンスペックや調整次第ですが、ハードウェア系と比べると、特に応答速度は確実に落ちると思います。

もし、キレッキレのダンスをして動画を上げたい！といった目的の方は、ハードウェア系の方がいいかもしれません。ダンスをやっている人はフルトラの人が多いと思いますので、詳しい方に聞かれることをお勧めします。

で、フルトラをやっている人や見たことがある人なら知っているかもしれませんが、フルトラやっている人が10割ずっと踊っていたり、立って動いたりするわけではありません。

むしろ、その逆で、座っていたり、水を飲んでいたり、つったっていたりすることのほうが多いのではと勝手に思っています。私生活がばれてしまうのもフルトラの特徴だと思います。

モーションキャプチャー系のフルトラの良い点は、そういった「ゆるい動作」に対して、何もつけることなしに表現できることかなーと思っています。

フルトラをやったことがある人は、「フルトラは一般的にはならないだろうなー」と思っている人が多いと思いますが、そのセットアップや金額的なハードルを知っているからこそ、実感していると思います。

なので、精度を求める方は、ハードウェア系の詳しい方に聞かれることをお勧めします。

モーションキャプチャー系フルトラの5つ目の壁：整理整頓

モーションキャプチャー系のフルトラは、部屋の間取りがフルトラに悪影響を及ぼすような場合、間取りを変更しないといけません。

例えば、物が邪魔で片方のカメラに自分が一部写っていないといったことが起これば、自然とフルトラ失敗していしまうからです。

また、フルトラをやるので、移動とか足踏みとかします。そう言った際によくあるのが、VRゴーグルをつけたまま、飲み物を飲もうとして、飲んだ時に、床に近くに置いてあった小物が落下して、そのまま踏みつぶしてしまったり、足を怪我するというケースもあったりします。

なので、部屋の整理整頓、カメラの位置調整を日々繰り返す作業が必要です。ものが多すぎると、可動範囲が減ったり、体が飛んだりする原因になります。それと同時に動き回るので、けがをする可能性も十分高いのです。

例えば、私の場合、部屋の整理整頓は月1回程度、物の位置変更を含め実施しています。そうすることで、可動範囲が増え、色々できるようになります。

結構要注意なのが、扇風機やサーキュレータなどがカメラから見えると、認識精度が一気に落ちてしまうことです。

夏の時期だと使う機会も増えると思いますので、要注意です。

まとめ：モーションキャプチャー系フルトラはいいぞ

ということで、モーションキャプチャー系フルトラの話をしました。
今に至るまでずっとこのフルトラの調整をしていたら、知らぬ間にTrustedになっていました。

ぶっちゃけ、まだ調整中のところがあり、完全に沼にはまっています。

逆を言うと、この調整をやればやるほどよくなったり悪くなったり、結果がはっきりするので、その過程を楽しめる方には、モーションキャプチャー系フルトラはいいのではないかなぁと思います。

精度を露骨に求める方にとっては、ハードウェア系のほうがいいかもしれません。

ちなみに、私がパブリックでフルトラやっている最中は、調整疲れで、無言か息が上がっていることが多いので、あいさつだけになってしまうこともあります。その際はご理解いただけると幸いです。

次に続く

この記事を書いている猫について知りたい方は以下参照お願いします。
（外部の私のサイトになります）

なお、MocapForAllをプレイするときにグラフィックボードの注意点があります。必ずご覧ください。

https://vrchat-fbt.com/radeon/