手のジェスチャーで操作～ハンドトラッキング技術
「Experience×Technology(体験×技術)」の渡邉です。
ハンドトラッキング技術とは
ハンドトラッキングは、リアルタイムで人の手の位置、動き、ジェスチャーを検知し、追跡する技術です。
拡張現実ではもちろんのことですが、コロナウィルス以降タッチパネルの非接触化等で体験する機会も増えたのではないでしょうか？
どのように実現されているのか、今回は2つの方法をご紹介します。
ウェブカメラで完結：MediaPipe
まずは、Google社が開発した「MediaPipe」です。
MediaPipeはオープンソースのフレームワークで、視覚的なデータ処理を行うツールキットです。
この技術を使えば、ウェブカメラを通して手の動きをリアルタイムに認識できます。
こちらから試すことができます。
また、MediaPipeを使用した事例も、ぜひ、手をかざして体験してみてください！
スムーズに手の動きを追跡していますが、ウェブカメラを利用しているため、追跡範囲はカメラの視野に制約されます。
小型デバイス：LeapMotion
続いてご紹介するのは、Ultraleap社のセンサーです。
赤外線カメラと赤外線反射LEDを組み合わせて、指先の位置、向き、動きを認識しています。
PCへの接続と専用のソフトウェアの起動で、すぐに利用ができます。
コンパクトなため、コンテンツに組み込んだ際に邪魔になることもありません。ハンドジェスチャーの体験に集中し、没入感を高めることができます。
インタラクションの新標準に？
手を触れずにディスプレイを操作する体験はシンプルでありながらも、わくわくしますよね。
ハンドトラッキング技術はMicrosoft Kinect等、今回ご紹介した他にも実現方法はあります。
インタラクションには欠かせない技術で、今後もますます成熟するのではないでしょうか。
おわりに
X（旧Twitter）
このnoteとも連携して発信していくので、興味のある方はフォローよろしくお願いいたします！
Experience×Technology(体験×技術)
執筆者：渡邉
株式会社フラッグ エクスペリエンステクノロジー部のディレクター。プログラム関連の進行を担当。このnoteの元編集長代理。好きなものは穏やかな映画と小説と散歩。