見出し画像

モーションキャプチャーによる運動計測#3 〜使用機材〜

ここから,具体的に光学式モーションキャプチャーで使用する実際の機材や,計測の流れについて説明する.各メーカで違いもあるが,ここではOptiTrackのイーサネットタイプのカメラを例に概要を述べていく.

使用機材

主に使用する機材のうち,以下の5種類の機材が計測する上で必須となる.その他の周辺機器(NI-DAQ,フォースプレート,筋電)についても最後に簡単な説明を行う.

  1. カメラ(三脚等の固定治具を含む)

  2. イーサネットケーブル・ネットワークスイッチ

  3. PC,ソフトウエア,ライセンスキー

  4. マーカ

  5. キャリブレーションツール(ワンド,スクエア)

図1:モーションキャプチャーを使用した計測で必要な機材

1.カメラの種類

モーションキャプチャー用カメラ自体は一般の画像処理カメラなどとほぼ同等だが,それ以外に,LED発光,内部でマーカーの画像に特化した処理を行うが特徴である.また,高速度カメラと同じ用にグローバルシャッター,カメラ間の同期の機能も持つ.カメラは主に,画素数最大フレームレート視野角(FOV)LEDの発光強度によってカメラ性能が差別化される.画素数,フレームレートは精度に直接的に影響するが,FOVやLED強度もカメラの計測範囲に影響する重要な指標で,LEDの強度によっては奥行方向の計測範囲が約10~30mと変わる.カメラの性能に応じた,適切なカメラの配置も重要である.

図2:Primeシリーズ(イーサネットタイプ)のカメラ.

各カメラの詳細は以下のリンク(英語サイト)を参照していただきたい.

ここで紹介したカメラのの中で,Prime Colorは同様にイーサネット接続する高速度カメラで,メモリに保存せず直接イーサネット経由でPC側のHDDなどに記録するため,記録媒体に余裕がある限り,長時間計測と,計測間に待つことなく連続して計測を行うことが可能である.グローバルシャッターを持ち,同期計測可能な高速度カメラで,単独でも使用できる優秀な高速度カメラである.

計測には2台以上のカメラが必要だが,第1章

で述べたように,常に3台以上のカメラですべてのマーカが計測できるようなカメラの配置と台数が望ましい.また,1台のカメラの性能の影響は大きいが,カメラの配置,カメラの台数によって精度を向上させることも可能である.

画素数(単位:ピクセル):一般的には画素数が増加すれば,撮影している面積あたりの計測エリアが細かくなり,分解能が高くなるという意味で計測精度が向上する.なお,反射マーカを円として認識をするために,1画素以下のサブピクセル処理も行っている(図3).たとえば小さなマーカに対して,反射マーカの円はギザギザなピクセルの集合となるが(オレンジ色),擬似的に小さいピクセル(緑)を想定してマーカの円形を推定している.なお,PrimeX 41の画素数は2,048 × 2,048 = 4,194,304 = 約4.1 メガピクセル(MP)である.また,一般に画素数が大きくなると,カメラの大きさも大きくなる傾向にある.

図3:画素数とサブピクセル処理


フレームレート
(単位:fps,またはHz):1秒間あたりに撮影できる(frames per second)フレーム数.特にカメラの最大の解像度で計測できる最大フレームレートをnativeフレームレートと呼ぶことがある.フレームレートは運動の速度に応じて選択するとよく,歩行のような日常の運動であれば,120fpsぐらいでも十分であるが,360fpsでゴルフスイングを撮影すると,1フレームで15〜20cmほどクラブヘッドが移動してしまう.また,各カメラで転送できるデータ数に上限があるため,nativeフレームレート以上のフレームレートを選択した場合(できないカメラもある),処理できる画素数が減ることに注意されたい.イーサネットタイプのカメラは,異なる種類のカメラを混在させることができるが,最も遅いカメラのフレームレートに拘束される.OptiTrackの場合,VRなどの利用を想定して,120, 240, 360 fpsなどのフレームレートが採用されている.バイオメカニクスの計測でとしては,これらは中途半端なフレームレートとなるが,補間処理を行えば異なるサンプリングレートに変換することができるので,面倒ではあるが問題にはならないだろう.

視野角(または視野:FOV:Field of View)(単位:°):

図4:視野角

たとえば,水平視野角と垂直視野角で代表することができる.この数値は主にレンズなどによって拘束される.広角なほど広い範囲を撮影できるが,レンズ歪の影響も受ける.キャリブレーションでレンズの歪補正も行わるので,歪の影響は少ないが,ワイドレンズを使用することで実質的に解像度は少し低くなる.OptiTrackでは,PrimeX 22Wのように型番の最後にWの文字が付加されている機種は,ワイドレンズを使用している.

LED発光強度:通常,LED光源はカメラのレンズ周りに装着され,LED単体の光の強さとその数などで決まる.LEDの発光強度の高いカメラは,その分,カメラと認識できるマーカ間の距離が長くなる.LEDの発光強度に関する明確な単位はないが,目安の指標のひとつとして,反射マーカを撮影でき奥行方向の距離で代表させることができる.14mmマーカを使用した場合,PrimeX 13で16m,PrimeX 41で30mまでの奥行方向の距離までの撮影が可能である.ただし,より大きなマーカを使用すればその距離も長くなるし,小さいマーカになれば届く範囲も短くなる.LEDの発光強度は撮影可能な距離にも影響し,カメラの性能を示す重要な指標の一つとなる.広い空間を撮影する際にはカメラのLEDの性能(撮影可能範囲)についても確認するのがよい.

2.ネットワーク周辺

図5:PoE (Power over Ethernet)付きネットワークスイッチの例

PC,カメラ等はイーサネットケーブルを介して,ネットワークスイッチに接続する.使用するネットワークスイッチは,電源供給可能なタイプのPoE(Power over Ethernet)スイッチと,CAT 6以上のネットワークケーブルの利用が必要で,ケーブルは100mまでの長さのものが使用可能である.カメラ間や周辺機器との同期もイーサネットを経由して行う.接続するカメラの台数がスイッチの使用できるポート数より多い場合は,複数のスイッチをイーサネットケーブルで接続するが,接続方法の詳細については,下記のWikiのページ

を参照されたい.

なお,カメラ以外の周辺機器(NI-DAQ,フォースプレート等)との同期は,同じくイーサネット接続するeSync2というデバイスによって多様な入出力を正確に管理する(図6).

図6:eSync 2

接続例(Primeシリーズ)
カメラは100台以上の接続も可能で,最大100mまでのイーサネットケーブルを使用するなどして,広いエリアの計測が可能である.

図7:接続例(イーサネットタイプのカメラ)

接続台数が多くなる場合は,遅延を発させないために,上記のようなアップリンクを使用した接続が望ましい.なお,メーカによってはカメラ間の接続をディジーチェーン型の接続をするタイプもある.

3.PC,ソフトウエア,ライセンス

計測制御ソフトウエアは各カメラから送られた情報を集約し,PC上でオンラインで3次元化処理などを行うが,それほど負荷の高い計算をPCで行うわけではないため,使用するPCには特別なスペックは求められないが,Core i5以上のCPUの利用を目安とするとよい.

ソフトウエアのライセンスは,ライセンスキー(ハードウエアキー,ドングル)とPCにインストールされるライセンスファイルの両方の認証で管理されている.複数のPCに制御ソフトウエアとライセンスファイルをインストールしても構わないが,ライセンスキーで認証されるので,1ライセンスで同時に複数のMotiveを動かすことはできない.

図8:ライセンスキー(Motive 2.X用)

4.マーカ


図9:Passive マーカ(反射マーカ)

マーカには,再帰性反射材を使用したPassive マーカと,LEDを使用したActive マーカの2種類がある.モーションキャプチャーはカメラから発するLED光の反射光を計測するが,再帰性反射については

を参照されたい.

Active マーカとは,カメラからのLED光の反射を利用せず,自発光するLED光を使用したマーカである.ただし,通常LEDの指向角は狭いことが多いので,多くの場合,LEDのまわりにディフューザと呼ばれる,光を拡散させるキャップ等をかぶせることでより多くのカメラから撮影できるようにする.なお,OptiTrackでは
850nmの波長のLEDを使用している.また,無線を介してLEDのパターン発光を制御することで,個々のActiveマーカを識別させることを可能とした,Active TagやActive Puckと呼ばれるActiveマーカも存在する.ケーブルとバッテリー等の利用が計測の妨げにならないなら,個々のマーカが識別されラベリングが不要となり,計測可能なカメラとマーカ間の距離をPassiveマーカよりも長くできるなどのメリットも多い.

図10:Active マーカの例.BaseStationからの無線でActiveマーカのパターン発光を制御.

また,Activeマーカの利用を前提とし,LED発光を持たせず小型化・薄型化したカメラSlimX 13もある.

図11:各種2Dフィルタ(赤色はフィルタによってサイズフィルタとCircleフィルタによって除外されていることを示している)

各カメラで撮影される反射マーカの大きさ,真円度(circularity:最大値1)などはオンラインで確認でき(図11),マーカーとしての認識をこれらのサイズや真円度の閾値で処理する各種2Dフィルタが備わっている.また,これらの数値はカスタマイズ可能である.

5.キャリブレーションツール(ワンド,スクエア)

図12:ワンド(CW-250)


ワンドはモーションキャプチャーのキャリブレーションに必要なツールで,1つのワンドに3個の反射マーカが実装されている(構造は各メーカで異なる).ワンドを計測空間に渡ってまんべんなくカメラから撮影されるように動かすことでキャリブレーションを実行する.1章「モーションキャプチャーによる運動計測#1」でキャリブレーションの原理を述べたが,キャリブレーション時に各カメラで計測されるワンドのマーカーの位置から,各カメラのカメラ定数を算出する.また,ワンドのマーカー間距離によってカメラ定数のスケールに関するパラメータを決定し,絶対的なスケールを決定する.このため,より高精度な計測を実現するため,出荷時にミクロンオーダーで各ワンドのマーカ間距離が校正された,熱膨張も含めて変形しにくい校正済みのワンド(CW-250, CW-125)もある(図12).計測空間の大きさによって,適切なワンドを選択する良い.

図13:スクエア(左:CS-200,右:CS-400)

スクエアは,モーションキャプチャーの絶対座標系(ワールド座標系)を定めるツールで3点の反射マーカが搭載されている.前述のワンドによりモーションキャプチャーのキャリブレーション(ワンディング)は,あくまでも相対的なカメラ間の配置関係を決めるだけで,このワンディングだけでは座標系が定まらず,例えば天地逆転してしまうこともある.そこで,スクエアの3つのマーカで,絶対(ワールド)座標系を最終的に定める.スクエアにはフォースプレートのコーナーに合わせて設置するタイプもある(図13).ただし,スクエアを利用せず,3つの反射マーカで代用することも可能である.メーカによってはワンドとスクエアが一体化したキャリブレーションツールを利用する.

6.周辺機器+同期

図6,7で示した複数の入出力用のBNC端子を持つeSync2によって外部周辺機器と電気的に同期可能であるが,正式なサポートデバイスとしてナショナルインスツルメンツ社製のNI-DAQ,フォースプレート(Kistler社,AMTI社,Bertec社),筋電計(Delsys社)などがある.これらを同じPCにUSB接続することで,OptiTrackの計測制御ソフトMotiveでこれらが管理され,CSVファイルによるデータの出力もOptiTrackと同じ時間フレームで管理することができる.

これ以外のデバイスでも,eSync2が管理するスタートトリガー同期クロックタイミング同期(各サンプリング毎の電気的同期信号による完全な同期)によって,同期計測が可能である.このような同期の場合,Motiveによる一括管理ではなく,それぞれのデバイスのソフトウエアでデータを管理する違いがあるが,正確に同期を実行することができる.

ユーザによるプログラミングが必要になるが,モーションキャプチャデータのリアルタイム取得を行えるNatNet SDKの利用により,ソフトウエア同期も可能である.ただし,ソフトウエア同期の精度はeSyncを利用する電気的な同期と比較すると精度はかなり劣る.また,計測制御ソフトMotiveが動作している環境下でNatNet SDKが動作する.SDKはC++, C#, Matlabが中心だが,一部Python経由でデータを取得することも可能である.NatNet SDK については

を参照されたい.

詳細なドキュメント

なお,OptiTrackの詳細な取扱方法は下記の,OptiTrackのWiki(2.3)

または,Wiki(3.0)

を参照されたい.とくにソフトウエアMotiveのバージョン(2.0系または3.0系)に依存して,ドキュメント内容が異なっている.

次章

では,実際の設置から,キャリブレーションなど計測前までの準備について述べる.


画像4
スポーツセンシング 公式note
スポーツセンシング 運動習慣獲得支援サービス「FitClip」
スポーツセンシング アスリートサポート事業


【解析・受託開発について】

スポーツセンシングでは,豊富な知見を持つ,研究者や各種エンジニアが研究・開発のお手伝いをしております.研究・開発でお困りの方は,ぜひスポーツセンシングにご相談ください. 
【例】
 ・データ解析の代行
 ・受託開発
  (ハードウェア、組込みソフトウェア、PC/モバイルアプリ)
 ・測定システム構築に関するコンサルティング など
その他,幅広い分野をカバーしておりますので,まずはお気軽にお問い合わせください.

株式会社スポーツセンシング
【ホームページ】sports-sensing.com
【Facebook】sports.sensing
【Twitter】Sports_Sensing
【メール】support@sports-sensing.com