見出し画像

Webカメラ1台のみで表情と上半身を同時にトラッキングする方法

otoan010 /おとあん

「カメラは、Webカメラ1台しか使いません！おめでとうございます！」
「えぇ、でもお高いんでしょぉ〜。」「そんなことありません！アプリ課金月額の¥199だけ！！」「えぇ〜、お金かかるのぉ〜。」「奥さん、でもボディトラッキングや表情トラッキングの機材ってもっとお金かかりますよっ。VTuber戦国時代、息子さん娘さん(アバター)の教育に無料でいいんですかっ？！」(以上茶番でした無料でも全然いいと思いますw)

わかる方向けに説明しますと、Leap Motionや表情認識機能のあるスマホを使わないでVSeeFaceで表情トラッキングしつつ、上半身トラッキングしよう！というコンセプトです。
尚、表情をトラッキングしないのでよいのであれば(瞬き、口の開閉のみ)、Webcam Motion Capture だけでできますので、ご注意ください！

従来の方法ですと、上半身(手・指・腕・体上部分)のトラッキング中は、表情トラッキングの為にスマートフォンなどもう１台カメラを使用する必要があったり、表情トラッキングはできるけど、上半身(手・指以下略)をトラッキングするために別デバイス(Leap Motion, Vive trackerなど)が必要でしたが、本稿ではWebカメラ1台のみで行う方法を解説します。

尚、従来の方法との性能比較はしたことがありませんので、その点含みおきください。他にもより最適な方法があるかと思いますので、ご自分の環境にあった方法を選択してください。

1.対象読者

  • VSeeFaceを利用している方(比較的深く使い方を理解していると◎)

  • Webcam Motion Captureを利用している方

  • タイトル通りWebカメラ1台で表情と上半身トラッキングをしたい方

  • もう1台Webカメラを買いたくない方、あなた怠惰ですねぇ(松岡さんボイス)

2.免責

自己責任での利用をお願いします。
発生した損害については、いかなる場合も負い兼ねます。

3.必要なもの

以下のハードとソフトウェアを準備してください。

※1 アドバンスド機能を使用する為に¥199/月のサブスクライブが必要
(本記事ではVMCプロトコル送信機能の為に課金が必要)
※2 VSeeFaceをVtuberとしてOBSStudioなど配信ソフトに投影させるアプリとして使用する為、VRMだけでなくVSFAvatar形式も使用可

4.手順

VSeeFaceやWebcam Motion Captureの詳しい利用方法は、各種チュートリアルを参考にしてください。

①Splitcamの設定
Splitcamは、1台のWebカメラのデータを複数アプリに送信したり、複数動画プラットフォームで配信したりできる本記事の肝となるアプリです。
バージョンは、10.5.62を使用しています。

まずは、シーンを新規作成します。
左側の＋(プラス)ボタンを押し、その後表示される「Web Camera」ボタンを押してください。

次に、モーションキャプチャに使用するWebカメラを選択してください。

おへやは見せられないよ！

シーンが設定できたらSplitcamの設定は終わりです。

おへやはry

②Webcam Motion Captureの設定
Webカメラモーションキャプチャ界に彗星のごとく現れたスターの原石。Webカメラで上半身のトラッキングができてしまう優れ物。その名は、Webcam Motion Capture。
事前にサブスク購入をして、VMCプロトコル送信機能を解放しておいてください。バージョンは、1.7.2を使用しています。

アプリを起動したら、Webcam Motion Capture(以下WMC)で、モーションがトラッキング(体は元より両手なども)されることを確認し、「外部アプリに送信」にチェックを入れてください。モーションデータを送信するアプリとして使用する為、アバターはデフォルトでも何でも大丈夫です。

その後、「VMCメッセージ送信先」より、IPアドレス・ポート番号に対応する番号を入力してください(VSeeFaceとの通路を開く番号みたいなもの)。
番号はVSeeFace上で、以下の通り操作すると調べることができます。
設定ボタン＞一般設定ボタン＞出てきたウィンドウを下にスクロール＞OSC/VMCプロトコル

IPアドレスとポート番号の場所、LAN IPは表示ボタンを押して番号を表示させてください。

「VMCメッセージ送信先」にIP・ポートそれぞれの番号が入力できたら、きちんと正しい番号が入力できているか再度確認し、「送信開始」ボタンを押してください。

赤枠の3点の確認をしてください

以上で、WMCの設定は終わりです。

③VseeFaceの設定
高いモーショントラッキング性能を有し(WMCもですが)、海外VTuberさんの間ではスタンダードになっているVSeeFace。
Unityﾁｮｯﾄﾃﾞｷﾙ民にはVSFSDKというものを利用して機能が拡張できるので、割と色々できる。振り込めない詐欺。とにかくありがとうございます。

ちなみに表情設定がまだの(Webカメラでの表情切り替えができていない)場合は事前に済ませておいてください
->参考 : https://note.com/rurune/n/n3593b304c545#ckzOy

アプリを起動したら、ウェブカメラの項目から「Splitcam Video Driver」を選択してください。WMCにWebカメラが優先使用されているらしく、VSeeFaceをそのまま(普段のWebカメラのまま)起動するとエラーが出ます。

その後、使用したいアバター(VRMでもVSFAvatarでもどちらでも)を選択し、設定ボタン＞一般設定ボタン＞出てきたウィンドウを下にスクロール＞OSC/VMCプロトコルで受信する にチェックを入れてください。
念の為、IPアドレスとポート番号がWMCのものと一致しているか確認してください。

以上で、手順は終了です。ディスプレイの中のあなたは、笑っていますか？いきいきと両手をうごかしていますか？社会に疲れていませんか？

5.結果

↓英語はあまり気にせず動画を見てくださいw

6.おわりに

ここまでお読みいただきありがとうございました。VTuberとして、あるいはそれ以外の方法でアバターを使用して、世界を幸せにする為に何かをしている、しようとしているあなたの役に立つなら幸いです。

最後になりますが、Twitchで原神やVRChat、アバター作業配信をしていますので、フォローして頂けますとがんばってブログ書いてよかったなとなるので、どうかよろしくお願いしますぴえんぬ

7.For English users

If you think you would like to read this blog with English, 
please consider to donate me on ko-fi ( https://ko-fi.com/otoan010 ).

When donation will be reached out to the goal, one will be revealed on ko-fi blog.
Since I'm learning English in half way, I have less confidence to write correct texts so much. Donation will be used to ask an EN translation. 

Thank you. I hope your wonderful vtubing.

いいなと思ったら応援しよう！