見出し画像

VUP本格運用機材まとめ

Saldra

この記事は一度VUPを試した人がVUPを本格運用するにあたり、各デバイスをどのように使っていくかを書いている。
試していなくても十分VUPを導入するかの参考になるが、一度動かしてから読んだ方が格段に読みやすく、イメージがつきやすい。もしも試してない方は以下ツイートを参照のこと。

また、この記事はボディトラッキング機器及びハンドトラッキング機器の記事になるため、3Dモデルを使用している人を前提にしている。Live2Dを使用していて且つLeapmotionを使ってみたい人は参考になるかもしれない。
Live2Dを使用している方はVUPとそれ以外のソフトの比較のツイートがあるので、参考にしてほしい。

またVUPは様々な機材に対応しているが、Freeアカウントで用いることができるのはWebカメラ,Android,Leapmotion,HTC VRの4種類のみであり、全身トラッキング機器はFreeアカウントとしては想定されていない(ここは後述する)。

そこで今回、自分はHTCVRを持ち合わせていないため、Webカメラ、Android,Leapmotionに重点を置き、使用上の注意と個人的に進める組み合わせを書いた。おまけでNoitom:PerceptionNeuron2.0を用いた全身トラッキングの運用についてを書いておいた。全身トラッキングの本格導入をしたい諸氏にとって良い情報になっていると思うので参考にしてほしい。

1.Webカメラ

機材による違いはあまりない。720pでも十分安定して認識を行うことができる。むしろ720pほどの画質があるWebカメラであれば何でもよい。今まで自分が動画やTwitterで紹介していた動画は全て720pでフェイストラッキングを行っている。できればシンプルなものであるほど、運用で不安定になったときの原因特定がしやすくなるため、安価なもので良い。

2.Android

Webカメラでのトラッキングと異なる点は無線で接続できる点にある。
これは首掛けスマホホルダーを付けることでどの位置にいても顔認識ができるということである。
ボディトラッキングと組み合わせて激しく動いてもフェイストラッキング可能、またWebカメラがなくてもAndroidとパソコンさえあれば気軽にVTuberを試すことも可能である。ただ多少アプリをインストールする必要があるため、導入に手間がかかるのと、Webカメラと違いバッテリーの制約があるため、長時間放送には向かない。Webカメラでのトラッキング精度を抜群に抜いているわけではないので、上半身のみでのトラッキング、かつ姿勢が安定しているのであればWebカメラで良いと考えられる。

3.LeapMotion

LeapMotionはハンドトラッキングを行う機器である。数千円から一万円で買える。VUPのLeapMotionのトラッキングは、HMDモードに対応したものの親指のトラッキングがあまり安定しないという現状にある。

対策として親指を固定するという機能があるので親指のトラッキングがうまくいかない(親指だけ曲がらない等)場合はそれをONにすることで他4つの指のトラッキングをすることになる。

トラッキング精度自体はとてもよく、親指のトラッキングが安定したら上半身トラッキングをしたい3D個人勢としては十分な選択肢にあがる。導入もそこまで大変ではない。

Luppetとの比較

今まで難点として挙げていた「HMDモードがない」がアップデートにより解決したため、親指のトラッキングのみが難点となる。他は特にLuppetとの大きな差異はない。

「LeapMotionでVTuberを本格運用したい。その運用にあたって顔認識精度よりも安定したハンドトラッキングの方を重視したい。そのために資金も投入しても良い」と考えるのであればLuppetをお勧めする。

逆に「LeapMotionを用いた上半身トラッキングを運用したいが、あくまでもフェイストラッキングを主軸にしており、ハンドトラッキングはサブとしてとらえている」、「LeapMotionを持っているが資金は潤沢でない」という方はVUPでLeapMotionを運用することは十分選択肢として入ってくる。

4.HTC VR

VR機器を持っていないため環境について詳しく話すことができない。
頭、手、腰、足の6点トラッキングに対応している。設定項目はあまり多くない。β版なので安定した動作ができるかは不明。
ただ、6点トラッキング+androidによるフェイストラッキングにて全身＋顔の認識ができる部分は全身トラッキングの例と同じ。

おまけ.Noitom:PerceptionNeuron2.0

該当者は少ないと思うが、NoitomのPerceptionNeuron等全身モーションキャプチャーを本格運用したい人向けに書く。

まず、仕組みとしては機器を購入した時についてくるソフト、AxisNeuronと連携する形になる。その連携に特別な作業は必要なく、AxisNeuronで認識したものをVUPが自動で認識してくれるようになっている。

ではAxisNeuronとUnityの連携ではなく、VUPとわざわざ連携させる必要はあるのか。そこで重要になってくるのがフェイストラッキングである。
私はVUPを「顔認識精度がやばいソフト」と考えている。眼鏡をつけ、目を細めながら首を振ってもトラッキングが外れないソフトである。前述したとおり、このフェイストラッキングはAndroidがあれば首掛けスマホホルダーを付けることでどの位置にいても顔認識ができる。全身を激しく動かしながら、高精度なフェイストラッキングを行いたい、そういったニーズを満たしてくれるのがこのソフトである。

ただし、最初に少し書いたが、全身トラッキング機器を用いたトラッキングは最初のFreeAccountでは使用することができない。別途相談する必要が出てくる。VUPはEnterPriseエディションというものがあり、それにアップグレードすることで使えるようになる。一度試してみたい等あれば、公式に連絡を取ると良い。

高精度なフェイストラッキングが可能で、全身トラッキングとも併用できるソフトは中々ないため、少しでも興味があり、実際に全身トラッキングで動いているのを確認してみたい方はTwitterにて自分に個別に相談していただければ詳しく説明する。

以上。

この記事が気に入ったらサポートをしてみませんか？