剣術・新陰流の型を画像認識で調べてみた！

こんにちは、新陰流品川道場の会員Kです。
戦国時代から伝わる伝統武道の「新陰流」を稽古しています。

前回のnoteではモーションキャプチャーを取り上げ、センサーを体につけて新陰流の勢法（型）のデータを採取する方法を考えました。ただこの方法だと、体術的な動きや小手を打たれて衝撃が加わった場合にセンサーが壊れてしまいそうです。

骨格検知で遊ぶ

そこで、前回に引き続きデータによる新陰流学習の改良版を考えました。今回は「骨格検知」という方法で、通常のカメラで撮影した画像から体の動きを検知して遊んでみることにしました。これならスマホでよいので便利です。

本当はOpenPoseやPoseNetなどのプログラムを勉強して自分で作ってみたかったのですが、まずはユーザーローカル社が提供している「姿勢推定AI」というサービスを使ってみました。最近は基本的に外での練習はできないので、おうち時間を利用して過去の写真をいろいろ探し...。

少し専門的な話になりますが、姿勢推定AIはディープラーニングという手法を使って、写真から体の関節部位を推定しているようです。肩・肘、手首・足首などの位置を写真に重ね合わせることができます。

制剛流抜刀術の写真で試すと・・・？

今回使用したのは、比較的シンプルな構図の居合の写真。サービスページから写真を読ませるだけです。結果はこちら！

袴でも割と正確に足の位置が推定できていますね。すごい！
左手は袖を間違って検知してしまっているようですが、力みすぎて肩が上がりすぎているとか、正中線からずれているとか、これだけでも色々な情報が得られそうです。自主練にも良さそうですね。

太刀にも拡張してみたい！

私は個人の趣味でプログラミングをするのですが、頑張れば太刀の動きにも拡張できるかもしれません。刀は手の延長という話を聞きますが、確かにデータにしてみると、一つの関節を拡張したとも考えられます。また、両肩の中心から垂線を引けば、正中線も明らかにできそうです。

骨格推定を新陰流の文脈で研究してみると、新たな発見ができるかもしれません。楽しみです。