がんばれば35000円くらいで全身動くVtuber作れる（かもしれない）という話

2019.11.02   情報をいくらか修正

タイトルの通り（メモ書きです）
Realsenseという有能カメラでトラッキングごっこして遊んだ話
導入費用とかインストールにあたっての苦労話とかそのへんも


📝まえせつ
Realsenseって有能カメラがあれば、カメラだけで全身のモーションが取れるらしい！
3teneってソフトがあれば、プログラム力0でもそのRealsenseが動くらしい！

しかも3万円前後で機器そろうっぽい！
すげえ！Vtuberごっこできるやん！！

🤟( ◠‿◠ )🖖買っチャオ！

か　い　ま　し　た

💰で、実際どのくらいお金がかかるのか
※PC費除外

■トラッキング用品（モーションを取る用のソフト、絶対いる）
Realsense 26000えんくらい　
Nuitrack 6500えんくらい（ドル買い）　
3tene (Pro) 1100えんくらい

■モデリングソフト（3Dモデルを作る用のソフト、たぶんどれかはいる）
メタセコ 5400えん～（いれば）　
VRoid　プライスレス
Xismo　プライスレス

元のPCやソフト装備によってだいぶ上下する
35000円予算はvroidを使うかメタセコを持っていた場合になりそうです
釣りタイトルですまない(´・ω・`)

📝Realsense導入編
「導入」とは？カメラをつなげば使えるんじゃないの？
どっこい世の中そんなにあまくない
RealSense本体のほかにカメラを動かすソフト（SDKとか）を入れる必要がある

RealSense Depth Camera D400～ ならIntel.RealSense.SDK.exeというのをどうにかして手に入れれば動くらしい

自分の場合、3tene用のRealsense導入記事を信じてその通りにやったらなんとか動きました
とりあえずRealsenseViewerというものがインストールされ正常に起動すればOKっぽい


次に、骨格トラッキング（モーション録画）に使うNuitrackのアクティベーション（課金キーの入力）をする
RealSense本体のファームウェア（内部ソフト）が古い場合は、それもアップデートする必要がある

これが技術わからんマンだととてもつら・・・・・・
くなくなりました！（2019/11/02）
RealSenseViewerから更新を入れてくれるようになったぞ！うれしい！！
（以前は日本語なしコマンドプロンプトから直更新という地獄仕様）


とはいえNuitrackは起動テストが成功するまでアクティベートキーを入れさせてくれないので、慣れるまでここが最大の詰みポイントなのは変わらず
( ◠‿◠ )＜がんばるんだ！

ファームウェアが古いとViewerにはじかれたりNuitrackが動かなかったりするので、旧型を買った人はもれなくこの作業がついてくる
技術苦手マンはここで2日くらい費やす覚悟をしておいたほうがいいです


そしてRealsenseをつないだ状態で3tene君が正常に起動したら
とりあえず工事完了です（カメラが真っ白だとエラー状態）
(´・ω・`)🍵おつかれさまでした


📝Realsense現実編
ここからは実際Realsenseを動かしてみたときの話
大体3tene+Realsenseの話


・精度はよくもわるくもない
リップシンクが音声入力しか使えないようなので少し面倒かも

・奥行の判定はまあまあ有能　手の交差とかも無問題
体を回転させると（90°～）ロストする率があがるのでそこは注意

・指は動かない
3teneの場合、指周りはショートカットキーでポーズが登録できるのでそれでなんとかする
遠隔入力できるリモコンが欲しい…（物欲）

普通のヒトガタ
置き場が悪いのか家がウサギ小屋なのが悪いのか、足がうまく認識されない
今後しばらくの課題 pic.twitter.com/OntYXuyFJ0

— 天山ぷくぷ🎫feat. NacktschneckeTT (@KNKRTBTI) March 26, 2019

・室内でやると高確率で足がめちゃくちゃになる
（カメラが足を認識しないため）
ガチに全身トラッキングをやるならそれなりに広いスペースがいるっぽい
→ 解決に成功しました（2019.11.02）

📝VR機とくらべてどう？
・１０万積めるならVIVE買ったほうがいい
トラッカーなら後ろ向けるし回れるし、仲間も多いし資料もいっぱいあるし…

カメラトラッキングの良さはやはりお値段と身軽さだと思います
HMDやトラッカー他をつける必要がないので、寝る前にさくっと検証できるのは強みかもしれない

(´・ω・`)VIVE持ってないからあんまりくわしく比較できないのん

📝Leapmotion（指トラッキング）とくらべてどう？
・一長一短
指の動きをとるか、雑な全身の動きをとるかといった2択
Leapmotionと違ってだいぶ導入がめんどくさい印象
撮れる画もVR機器組に比べると若干よわめ

特にバーチャル何某をやるならここまでやる必要は全くないと思われる
でも安いし動かしてて単純に楽しいので、金のかかった一発ネタとしては十分にありです


📝上位モーションキャプチャー装置とくらべてどう？
こっちが知りたい（未経験）

　


📝FAQ
Q. あかん！RealSense入れたのに動かへん！
A. RealSenseSDK入れよう
　RealSenseViewerがPCに入ってるか確認しよう

Q. あかん！Nuitrack入れたのに動かへん！
A. RealSenseViewerからファームウェア更新しよう
　環境変数のパス（フォルダのアドレス）が間違ってないか確認しよう
　もしかして：NuitrackとOpenNIのドライブが違う

Q.あかん！3tene動かへん！
A. カメラとかマイクはよくおかしくなるのでアプデで直るのを待とう！
　起動しないようならPC買い替えも検討

Q.またPCかよ！スマホ勢に救いはないんですか！？
A. iOSの民であれば、ミチコンというアプリがあります
　Android勢は……対応を待とう！

Q. 配信するのに全身動かす必要ある？Luppetでよくない？
A. Luppetでいいぞ。

Q. なんでVtuberでもないのにこんなことを？
A. 趣味

🌼おわり🌼