WekinatorとLeap Motionによるハンドジェスチャー判定, EMSによるハンドジェスチャーの再現

note、2回目の投稿です。
今回はシステムの詳細の説明というより、タイトルにある技術を組み合わせた結果どうなったか。をまとめています。

サマリー

前回の「WekinatorとLeap Motionによるハンドジェスチャー判定」では、オープンソースの機械学習ツールであるWekinatorと、ハンドジェスチャー用モーションキャプチャデバイスであるLeap Motionを用いて、シンプルな3つのハンドジェスチャーを判定するシステムについてまとめました。↓

今回は、過去に共同でアート作品を制作したことのある花形くんの研究の一部を組み合わせた、他者のハンドジェスチャーを再現をするシステムについてまとめています。仕組みは、LeapMotionでハンドジェスチャーを識別し、EMSを用いて腕の筋肉に信号を送り、識別したハンドジェスチャーを再現するというものです。
（今回は花形くんのEMS制御システムの詳細についてには触れず、組み合わせた結果についてのみまとめています。）
このシステムは、アート実験グループtkhssにて制作したメディアアート作品「(≪ S/O ≫(≪ O/S ≫)」の構成要素です。

↓花形くんの研究↓

Material Experience Design | Yasuaki Kakehi Laboratory, The University of Tokyo

今回利用するツール

ジェスチャー判定システム（詳細は前回のnoteをご参照ください）
・Leap Motion
・Wekinator v2.1.0.4
・MAX7（aka.leapmotion , 判定パッチ）
EMS制御システム（詳細は花形くんの研究をご参照ください）

システム概要

前回のシステムで実現したハンドジェスチャーの識別機能に、筋肉への電気刺激によって強制的にハンドジェスチャーを制御する機能を加えたものになります。
動きとしては、操作側の人がジェスチャーをすると、再現側の人の腕が強制的に動いてハンドジェスチャーが再現されるというものです。
ジェスチャーはこちら。
（Gesture-1=上、Gesture-2=下、Gesture-3=横）

実行

Leap MotionでキャプチャしたジェスチャーをEMSにて再現できました。
識別システムと再現システムはそれぞれ別のPCで実行し、UDP通信によってやり取りをしています。

まとめ

今回は、ジェスチャー識別の情報をネットワークを介して再現側に飛ばしています。
この組み合わせによって、人の遠隔操作をしてみたいねとチームで話して実際に絵が描けないか試してみたのですが、今回は3種のジェスチャーのみだったのでなかなか難しかったようです。もっと細かな制御ができるようになればどんなことができるようになるのでしょうか💫
花形くんとtkhssのメンバーのみんな、ありがとう🌸

（↑腕の出演：花形くん/ケイタ）

#leapmotion #MAX7 #MAX8 #プロトタイピング #prototyping #machinelearning #wekinator #tech #note #EMS #motioncapture