【VICON・Shogun】アニメーションが完成するまで ① ～オートラベル～
★この記事で分かること★
モーキャプデータを開いてからオートラベルをかけるまで
★こんな人に読んでほしい★
モーキャプを用いたアニメーション制作に興味のある方
★読み終わるまでの目安時間★
10分
ロジマジBlogへようこそ！
プロ野球が開幕し、週6でウキウキしているモーキャプブログ担当のいっしーです！
本日は遅ればせながら数多の勇気と感動を届けてくれた侍ジャパンの軌跡を1試合ずつ振り返り、、、たいところではあるのですが、各方面から怒られてしまいそうなので家族LINEで一方的に語ろうと思います。
さて、前回までスタジオツアーをお届けしましたが、今回は一度スタジオから離れまして、収録データがアニメーションへ変身していく流れを紹介しようと思います！
専門的な知識は一旦置いておくことにして、誰にでも分かるようにその手順を紹介します！
スタジオツアーをご覧になっていない方はこちらよりぜひ！！
VICON
弊社は「VICON（ヴァイコン）」というモーションキャプチャを使用しています。
モーキャプにはいくつかの方式（記録する仕組み）があるのですが、VICONは光学式という方式で、反射素材で作られているマーカーを複数台の赤外線カメラで撮影することで対象の動きを計測します。
下の写真がそれぞれマーカーと赤外線カメラ（VICON Vantage V5）です。
このマーカーを全身に貼り付けます。
その数、なんと57箇所＋α（指など）！！
このマーカーの位置が結構シビアなんです。
入社して最初につまづいたところです。
代表的な方式とそれぞれの特徴をまとめた表を筆者が学生の頃、書いた論文から引っ張ってきました！
Shogun
VICONの編集ソフトウェアにはいくつか種類があり、目的に応じて使い分けられます。
その中でもエンタメ分野で多く用いられるソフトウェアがShogun（ショウグン）です！
アイコンやインターフェースが分かりやすかったり、オリジナルのツールを作りやすかったりで個人的に非常に気に入っています！
昨年、VICONに出会ったばかりの私はその時代を知らないのですが、元々は「workstation」というソフトウェアで、「iQ」「Blade」という順で後継されていき、現在の「Shogun」に至るそうです。
以下の流れはこのShogunでの作業になります！
収録データを開く
まずは収録したデータを開きます。
データを開くと、、、
あれ！？何もない！？やばい！？
どうしよ！？報告した方がいい！？
と、新卒1年目(の頃の自分)はなりますが、慌てずに一度深呼吸しましょう。
最初に開くファイルはカメラ位置が再現されているだけでまだマーカー情報にはなっていないんですね。
では、モーションの情報はどこにあるかというと、、、
それぞれのカメラに2次元座標の情報として記録されています！
このうちの一つを拡大すると、、、
ちょっと分かりにくいかもしれませんが、黄色い点々がマーカーとして認識されているものです。
このカメラデータはx2dという形式で、2次元座標で表された情報を記録しているだけなんですね。
つまり、まだ3次元のマーカーデータにはなっていないんですね。
マーカーデータを復元する
そこで、Reconstruct(リコンストラクト)という作業をしていきます。
この作業は、複数台のカメラが記録している2次元座標の情報を元に3次元座標を復元(Reconstruct)する工程になります。
Shogunでの方法は、この「Reconstruct(リコンストラクト)」のアイコンをクリックします。
すると、、、
お！何かでてきましたね！
このピンク色の点々がマーカーを示しています！
これは、、、恐らく野球の投球動作ですね。
このように同一のマーカーを連続して捉えられている状態を「トラッキング(Tracking)」と言います。
ちなみに、理論上は2台のカメラがマーカーを写していれば3次元情報に復元
することが可能ですが、実際には3台以上に写っている場合にリコンストラクトをする設定にすることが多いです。
ラベリングをする
次にラベリング(Labeling)という作業を行います。
ボール持ったまま歩いちゃいけないやつですね。
それはトラベリングですね。
もとい、ラベリングとはトラッキングされたマーカーに対して
「お前は右肘のマーカーだ！」
「君は左膝のマーカーね！」
といった具合に、身体のどの部分に相当するマーカーなのかを示してあげる作業です。
１つずつ丁寧に指定してあげることもできますが、Shogunには便利な機能があります。
それが「Auto Label(オートラベル)」という機能です。
このアイコンをクリックすると、、、
先ほどのトラッキングされたマーカーを自動的にラベリングしてくれました！
一気に人として認識しやすくなりましたね！
ちなみにこのオートラベルにはテンプレートと呼ばれるマーカーセットが必要なのですが、収録する指の本数などにより使い分けをします。
想定外のデータが…
オートラベルって便利なのですが、ある程度の限界があるんですね。
例えば、、、
マーカーが隠れてしまったり
マーカーが揺れてしまったり
マーカーとマーカーが入れ替わってしまったり
このように想定外のデータになってしまうことがあるんですね。
こうなってしまったら最後、、、
諦めましょう！
なんてことにはならず、地道にデータを修正していきます！
次回はどのようにデータを修正していくのか
その方法についてご紹介したいと思います！
株式会社LOGIC＆MAGIC
モーションキャプチャ担当 いっしー
*******************************
お仕事や見学のご相談：CONTACT
リクルート：RECRUIT
*******************************