見出し画像

【個人勢3DVtuber向け】3D撮影の機材ソフト＆フルトラ方法ざっくり解説

レオン・ゼロミヤ

こんにちはこんばんは初めまして。
個人でVtuberをしているレオン・ゼロミヤといいます！
最近の個人Vtuberは配信やゲーム実況がメインの人が多いのだけど、
その中でも珍しく企画動画をメインに活動しています。
2020年5月から公式VIVEアンバサダーに認定され、VRやフルトラを生かした動画も定期的にあげています✨

今回は、
「3D化やフルトラに興味はあるけど何をどうしたらいいのかさっぱりわからん😇」
「なんか調べても企業勢の情報が出てきて値段的に参考にならない😇」
または「技術詳しい人達が難しそうなこと話してるけどよくわからない😇」
という、つまり数ヶ月前の僕のような人向けに(技術はいまだに詳しくないですが(笑))、
そもそも3DVtuberがどうやって撮影をしているのかを忘備録として書いておきます！！

僕は2Dモデルで活動を開始し、
1周年を記念になんとか自分でモデルを制作、
そしてそのタイミングでVR機器のVIVE公式アンバサダーとなったので(それまでの動画を見てポテンシャル採用されたらしいですびっくりした😌)、

本当に何もわからん状態で3DVtuberの活動を始めることになり、
かなり大変で周りに助けてもらいまくりだったので
その恩返しのような気持ちで書かせていただきます！！！


以下は本記事の前提です🙏

※3DVtuberの撮影について事前知識ゼロの超初心者向けのざっくり情報になります！
この記事はあくまで入り口としてお使いいただき、各ソフトや機材の情報は必ず自分でも調べてから導入していただくようお願いします✨
(僕は最初ソフトの名前すら1ミリも知らなくて苦労したので😂名前や用途だけでもまとまってる情報があればな〜と思ったのがこの記事のきっかけです)

※あくまで現時点の、そして機械音痴の僕でも使えているツール中心の話になります！
技術的にはもちろん可能だけど誰でも簡単にできるかはわからない…という方法は保証ができないためあまり触れていません💦ご了承ください🙏🙏

※3Dモデルの作成方法は色んな動画やサイトにまとまってるのでそちらをご覧ください🙌
有償で依頼を受け付けている方はいっぱいいますし、もし3Dなんもわからんけど自分でつくりたい！って人には『Vroid』がおすすめです😉

僕も3Dの身体はVroidで自作し、VRMという形式で書き出して、これから紹介するソフトに使っています。
一応Vroidでモデル作る時に参考にしたサイトも貼っておきます！


※あと僕はリアルでもバーチャルでも亡国の王子ゼロミヤとして生きてるタイプのVtuberなのでリアルの機材の話もバンバンしますが全部僕です！
メタ発言じゃね？っていうツッコミは気にしないでください😂

それでは本題に入りましょう！やりたいこと別に紹介していきます！




上半身と顔を動かしたい

ぶっちゃけ喋る系の配信や動画は大体上半身と顔が動けば事足りるかなと思います🤔
僕もVRやフルトラをする時以外はこの撮影方法ですね！
3DメインのVtuberもなんだかんだ上半身のみで映ることが多々あると思います。

この場合はVR機器は必ずしも必要ではなく、
WEBカメラでトラッキングしてくれるPCアプリを使うのがオススメです✨
よく使われているのはLuppet、3tene、VmagicMirror、VDraw、VUPあたりでしょうか。(有料無料含む)
普通のWEBカメラだけで目や口、体の向きなどをトラッキングしてくれるのでかなり便利です。
僕はLuppet(6,000円)を使っているのですがFaceRigと同じようにグリーンバックに設定し、OBSで録画して動画に使っています。

比較動画がよく作られているので参考として貼っておきます！

さらに手や指を動かしたい！という人はLuppetや3teneが対応しているLeapMotion(約12,000円)というセンサーを買い、
別売のホルダーにセットして首からかけ、PCに繋いだ状態でソフトを起動することで動かすことが可能です。

また、VmagicMirrorやVdrawではマウスやキーボードなどデバイスの動きで簡単なハンドトラッキングができるので、指まで行かずとも手が動いてる感じが欲しい方はそちらもオススメです！



表情を細かくトラッキングしたい

最近FaceID(というかTrueDepthカメラ)を搭載したiPhoneやiPadを使うことで、
より細かく表情をトラッキングしてくれるVtuber向けのアプリが色々出てきました！
まず3Dアバターを動かせるVtuber向けスマホアプリ情報をまとめた記事もありますので参考に是非そちらもご覧ください。

この中だと「vear」は使っているVtuberをよく見かけますね。


実は僕のiPhoneは古くFaceIDを搭載していないので、この辺りのフェイストラッキングはまだ試せてないのです😭
それでも最近さらによく聞くのは「パーフェクトシンク」という仕組み。
その仕組みにのっとって3Dモデルを編集し、
FaceID搭載のiPhoneやiPadで顔をトラッキングして、より生き生きとした表情が出せるようになったり、
さらにそのiPhoneやiPadをPCに繋ぐことで、先ほど紹介したWEBカメラ系のソフトの一部とも連携できるという…！
これができれば表情もよりリアルに反映させることができるようになるので、上半身のみの配信や動画をもっとリッチにしたい方にはオススメだと思います✨
(現時点だとVmagicMirrorは対応済み、Luppetはβ版で対応し支援者限定で先行公開中)




全身で動きたい

さて、問題はここからですよね！
やっぱり3Dモデルになるなら全身で動き回りたい…わかります…😌
まず僕が使っている機材と撮影方法を紹介します。

僕が普段使っているのはVIVE無印です。
現在は販売終了しているモデルで、8万円ほどだったかと思います。
黒いHMD(ヘッドマウントディスプレイ)が目印ですね！

部屋の中にベースステーションという付属のセンサーを設置し(ちょっと面倒😇)、
そのセンサーに挟まれた空間で
VRレディーのPCに繋いだVIVE無印のHMDを被り、
両手に付属の無線コントローラーを持った状態で、
SteamからSteam VRを起動し、
撮影ソフトを立ち上げてVR撮影を行っています。

実はこの状態では下半身の動きまではトラッキングしてくれません。
HMDとコントローラー、つまり頭と両手の位置しかわからないからです(3点トラッキング状態)
もちろん歩けば足が後からついてくるし、しゃがんだり、コントローラーで歩くように移動したりすることはできるのですが、リアルの足の動きそのものは反映してくれないのです💦(ステップを踏んだり足をあげたりができない)


VR機器でフルトラ、いわゆるフルボディトラッキングをするには、
一般的には腰と両足にVIVEトラッカー(1個約12,000円)を１つずつ、
合計3つつけ、6点トラッキングにします。
つよつよな人はさらに肘と膝の両関節にもトラッカーをつけ、10点トラッキングにする方もいます(お金…充電…ひええ…😇)
さらに指を動かしたい人はValve Indexのコントローラー(約36,000円)を導入したりしますね…沼か…？？？
(もちろん個人でPerception Neuronなどプロ仕様の機材を買う方もいるんですが、扱いが難しくさらに高価になるので初心者向きではないですね…💦)

そしてVR機器もなんでもいいわけではなく、
フルトラをするにはある程度の精度を持った外部センサーとトラッカーが必要なので、
VIVEかValve IndexというメーカーのVRHMDを使っている人が多いです。
VRHMDの選び方はこちらも参考にしてみてください！
(ルームスケールVRに必要な空間の広さや、VRをするのに必要なPCスペックなども要確認です)
現在販売中のモデルだとVIVE Cosmos Elite(約11万円)がVIVE無印に立ち位置的に近いです。

ちなみに自己責任になりますが、外部センサーを必要としないOculusでも特殊な方法でフルトラにすることはできるようです。
ただしVIVEでやるより複雑な手順になる、どちらにしろVIVEのセンサーやトラッカーが必要になる、公式サポートがされておらず安定しにくい、といった話を実際にやってみた友人から聞いていたので、
「自分がやったことがない限りオススメしにくいな〜💦」と思ってたのですが、やり方をまとめてくださる人もいますし、少なくとも絶対ムリ！ってレベルではないのかも…？と思ってます。
(曖昧ですみません…どうしてもOculusでやりたい方は調べてくださいッ🙇‍♂️)
最近Haritoraという有志の方々が開発するトラッカーも登場しまして、これがあればOculusでもVIVEトラッカーを使わずにフルトラにできるとの情報を聞いたので興味はあります…！✨

(VIVEもOculusもVRを広めるナカーマです！！VIVEアンバサダーの人達もOculus全然使ってますし特に禁止とかされてないので！！)

さて、もし「フルトラで動いて撮影はしたいけど、正直VRにはあんまり興味ないし機器が高すぎるよ〜〜😭」という方は、
次のパートを読み飛ばして「VR機器なしでフルトラ撮影したい」を読んでください！



VR機器を使って撮影したい

このパートはVR機器を使って撮影をしたい方向けにメジャーな方法を紹介します！
というか基本的にはOBSにそのPCアプリの画面を映し録画をする形なので、撮影するツールというよりは「撮影場所として使えるツール」に近いです。
※Steam VRを使える状態が前提なのでOculusユーザーの方々はご注意を！Quest対応されているアプリでも通常版と一部仕様が違ったりします。

2Dの場合、撮影ツールといえばまあFaceRigだったと思うのですが、VR機器を使った撮影の場合、目的別に使い分けるのがポイントだと思ってます🙏
僕が主に使うのはこの3つです😊


①バーチャルモーションキャプチャー
・とにかく動きを撮りたい
・頭にトラッカーを割り当てて無線で動きたい
・LIV(仮想カメラ)で合成をしてVRゲームの中に入った図を撮りたい
・EVMC4U(Unityと連携させる)やWaidayo(表情をトラッキングする)など他のツールと連携してより本格的な撮影がしたい
こんな時に使うのがバーチャルモーションキャプチャーですね！
使い方も簡単そしてなんと無料！公式マニュアルがわかりやすいです✨
よく見るBeat Saberプレイ動画に使われているといえばバモキャ！
制作者のあきらさんはVIVEアンバサダーの1人でもあり、使い方に困っているとTwitterで助けてくれるとても親切な方です…🙏

僕はまだ他ツールとの連携までできていないのですが、グリーンバックにしてOBSで撮影し、ダンス動画などを撮りました☺️
とにかく設定が簡単で拡張性が高く、助かるアップデートもされるアプリなので、3DVtuberはお世話になっているツールだと思います。
ただ名前の通りモーションキャプチャーがメインのツールのため、このアプリ内で他のVtuberとコラボしたりどこかへ遊びに行ったりできるわけではないです！そこだけご注意ください👍


②VRChat
・他の人達と交流しながら撮りたい
・大人数でワイワイ集まりたい
・色んなワールドをめぐりたい
こういう場合はVRChatですね！
厳密には撮影ツールではなく、ソーシャルVRプラットフォームなので、
色んなワールドに出かけたり他の人に会ったりすることができます。
よくある勘違いですが「VR機器がなくてもVRChat自体は遊べます」！
ですが3Dの体でVRChatに入って撮影すると、また違った楽しさが味わえたり面白い配信や動画が企画できるのでオススメです✨
もちろん撮影をしなくても友達とワールド巡りするだけでかなり楽しめますし、交流会やライブも頻繁に行われているプラットフォームになります。

ただ個人的な問題点は、VRモードのカメラが結構使いにくいことですかね…😇
僕だけかと思ってたんですが最初はみんな苦戦するようです💦
じゃあデスクトップで撮影すればいいのでは？となるのですが、
僕は酔いやすい方らしくVRモードで入らないと30分で気持ち悪くなってしまうことがわかりました😭
あと自分のアバターをアップするにはある程度のプレイとフレンド数が必要になり、アップするたびにUnityを通さないといけないのもちょっと注意ですね！
ただそれを乗り越えてもあまりある面白さがあり、本当に色んな撮影ができる場所だと思っているので、面白いワールドや大規模なイベントに興味がある方にはいい方法だと思います👍


③バーチャルキャスト
・自分用のスタジオをつくりたい
・カメラなど色んなアイテムを使いたい
・他の人を呼んでコラボしたい
・難しい操作をしたくない、酔いたくない
なんだかんだ僕が今１番お世話になっているツールです😊！
カメラ機能も豊富で使いやすく、撮影に特化しているサービスのため動画にはもってこい。
自由にスタジオをアレンジして1人撮影も気軽にできるし、コラボとして他のVtuberも呼びやすいし、何より酔いにくい…☺️！！！
アイテムやワールドもいろいろ取り込めるし、アバターの導入もかなり簡単なので助かってます✨

1つのスタジオに呼べるのは16人まで、またVR機器を持っている人しかアバターの姿で入れない(デスクトップモードもあるものの姿が見えない)ので、その辺りは注意ですね！
意外と便利さが浸透してないので、VR機器を手に入れた方は是非１度使ってみて欲しいです…😌



もちろんこの3つ以外にも撮影方法は色々ある(Unityにモーション取り込んで撮影するとか！)のですが、
周りの方々に聞いた結果、そして僕のような初心者かつ機械音痴でもできるレベルだとこの辺りがメジャーかなと思います💦
決してこれしかない、というわけではないので、もしVR機器を買っていろいろ慣れてきたら自分で情報を調べて挑戦してみる、でもいいと思います！！



VR機器なしでフルトラ撮影がしたい

さあここまで色々と書きましたが、
ぶっちゃけるとVR機器なしでもフルトラ撮影ができるVtuber向けツールは色々あります😊！！
要するに、VRのゲームやワールドに入ったり他の人とオンラインで交流する必要がなく、
単に自分がフルトラで動いている図が撮りたい、
のであれば色んな選択肢があります✨
アンバサダーとしてはVRも楽しんで欲しいのですが、なんせVR機器は高価な代物ですからね💦
もちろん欲しいと思ったら是非買って欲しいです！
しかしVtuberは健康な生活が第一、お金は大事ですし、活動形態は人それぞれなので、無理はなさらず！

自分では普段やらない方法なのでシンプルに情報だけ書きますと、
『ThreeDPoseTracker』ならWEBカメラだけでフルトラが可能ですし

Kinectで全身モーションをMMDや3teneに取り込むのもアリですし

(っていうかKinectあれば色々できる…！そもそもMMD使えれば動いてる動画もつくれる…！※僕はつくれません😇)

Simple Motion TrackerというツールでWEBカメラだけでバーチャルモーションキャプチャーを動かしたりできますし…！



正直この辺りのツールは技術つよつよ勢の方々が日々開発してくださっていて、情報がすぐ古くなる感じです！！(なんとありがたい…)
実験的に開発中のツールを組み合わせまくれば、きっとVR機器なしでも色んな撮影や表現ができると思うのですが、
まあそこまで行くと僕が説明できない(コードとか書けないしあんまり仕組みわかってないので💦)、かつ初心者＆機械音痴レベルを越してしまうのでここではあえて触れません、すみませんッ🙏
ただここにはないだけで「そんなことできるの⁉️」みたいな実験をしてる方はいっぱいいるので、挑戦してみたい方は調べてみてください！(実験は自己責任で…😌)





最後に3DVtuberの活動についてまとめ

ここまで読んでいただきありがとうございました！
いや〜〜〜〜長くなってしまった申し訳ない…！！！
超ざっくりまとめますとこんな感じです😇！！

▶︎上半身と顔を動かしたい→WEBカメラ対応のPCアプリ
▶︎表情を細かく動かしたい→FaceID搭載のiPhoneやiPadと組み合わせ
▶︎VR機器を使って全身を動かしたい→フルトラしたい人はVIVEかValve Index、ツールはバモキャ・VRChat・バーチャルキャストあたりがおすすめ
▶︎VR機器なしで全身を動かしたい→WEBカメラやKinectに対応したPCアプリ
※この方法しかないというわけでは決してなく、あくまで初心者でもできるレベルのメジャーな方法です。

色々と読んでいただいた方には伝わったかもしれないのですが、
3DVtuber向けの撮影ツールは日々進化しているのですぐ情報が古くなる、
かつ、使っている機材によって対応ツールが変わるのであまり包括的な情報がまとめにくい、という点は確かにあるのかなと思っています💦

今回も僕が個人の3DVtuberの立場で、
自分のような初心者＆機械音痴向けにまとめた内容なので、
技術方面に強い方から見たら不足しているポイントがあると思います🙏
(Unity使えばいいじゃん？コード書けばいいじゃん？とか…うっ、頭が…😭)

ただ、実際に3DのVtuberとして手探りで活動し、
色んな情報を見たり調べたり、
他のVtuberの方々と情報交換した上でまとめたものなので、
現時点のある程度メジャーで実践しやすい方法をまとめられているとは思っています…！
めちゃめちゃ色んなやり方が存在してるのは事実なんですけど、
使ってる人が多いツールから入った方がトラブル起きた時も解決しやすいし安定して使えると思っているので、
機械音痴すぎて苦しんだ僕の屍を越えて行ってくださいッ👍

(技術詳しい方にお願いなのですが、この記事で明らかに間違っている部分などありましたら、Twitter等で教えていただけると大変助かります🙇‍♂️)
(あとこれは初心者なりに学んだことなのですが、気になることがあったらGoogleで調べるよりTwitter検索や周りの人に聞いた方が早くて実践的な情報が得られました。参考までに！)

自力で3D化する個人勢Vtuberは最初本当に大変だと思います💦
実際僕も右も左も分からない状態から始めたので、この記事が3D化やフルトラを目指すVtuberの方の役に少しでも立てたら嬉しいです😊✨

これから僕もVRを生かした企画をどんどんやっていきますし、
Twitterでも役立つ情報など発信できたらと思っているので
よかったらチャンネル登録やTwitterフォローしていただけると嬉しいです！


それでは次の記事でもお会いしましょう〜ゼロミヤでした！

この記事が気に入ったらサポートをしてみませんか？