ディープラーニングで自分の身体を楽器にする「ヒューマンシーケンサー2.0」を作りました
「ヒューマンシーケンサー」とは
身体を楽器にしてしまおうというコンセプトの自作ソフトです。元々の発想は、 YAMAHAさんのTENORI-ON（テノリオン）という楽器を身体を使ってできたら面白いのじゃないかというところから来ています。
昔作ったPV的な動画は以下参照下さい。
アイディア自体は、ものすごく画期的というわけではないので、似たようなことをしている人はいると思いますが、当時はソフトをOSS（Open Source Software）で公開している人もそんなにいなかったので、仕方なく自分で作ってソフト公開していました（ブログにベタがき）。
実はこのソフト、結構メディアアート系の学生さんなどを中心に活用して頂いていたようで、問い合わせがあったものだけでも10件ほどありました。イベントなどで使われたこともあったようです（特に使用制限は設けませんでした）。
ただこのソフト、人間の骨格情報を取得するために、カメラとしてKinectという3Dカメラを用いなければいけないところが玉に瑕で、ハード面でもソフト面でも難度が高く、手を出しづらいところがありました。Kinectも今や生産中止になってしまいましたしね。
ところが、今のディープラーニングの技術で、なんとKinect無しで普通の単眼カメラで人間の骨格情報が取得できるようになりました。というわけで、カメラ付属しているMac BookやiMacなら単体でヒューマンシーケンサーが実現できる！と思い作ってみたのが「ヒューマンシーケンサー2.0」です。
以下みたいな感じで、人の骨格を検出して、楽器にして遊ぶことが可能です。GPUは使わず、Mac Book ProとMac Book Pro内蔵のカメラだけで実現しています。
「ヒューマンシーケンサー2.0」の使用方法に関して
「ヒューマンシーケンサー2.0」は「tf-pose-estimation」という非常に高速に人体の検出が出来るソフトウェアがベースになっています。ライセンスもApache Licenseで商用利用も含めて非常に使いやすいです。
今回は、こちらをforkして少し改造したものに、以前作ったヒューマンシーケンサのソフトをProcessingからPythonに移植することで実現しました。ソフトはOSSとして以下で公開しています。
詳しい人なら、上記ソフトを使いこなせると思いますが、ディープラーニング系のソフトは環境構築が難しく、MIDIなどの音楽を鳴らすためのセットアップも必要なので、結構大変です。
というわけで、有料部分でソフトの使い方や、どのように元々のソフトを、楽器に変えたかというソフト開発の流れや、自分好みに色や音階等をカスタムする方法を解説しますので、詳しく知りたい方は、本note購入いただけたら幸いです。もしくは、本ソフトが良いと思ったらサポートいただいても非常に嬉しく思います。
平易なコードしか書いてないので、OSSを活用して自分のアプリを作る流れに関しては参考になるのでは無いかと思っています。
想定している読者は、Mac OSである程度ターミナルの操作に慣れた方（ls とか cd とか cpの意味くらいは分かる程度）です。Windowsでも、本チュートリアルは参考にはなると思うのですが、動作確認はしておりません。
また、Mac Book Pro（Retina, Mid 2012） macOS Sierra 10.12.3 、iMac (Retina 4K, 21.5-inch, 2017)で動作確認しておりますが、全ての機種、環境で動作確認はしておらず、動作を保証するものでは無いことご注意下さい。Mac Book Airなどでは動作が遅くなるかもしれません（実は、Raspberry Piでも動くのですが、流石に重くて実用には耐えませんでした）。
ライセンスはfork元と同じApache 2.0ライセンスですので、特に使用制限は設けません。個人で楽しむのはもとより、イベントなどで使ってもらうのも問題ありません。その際、可能であれば、このnoteのアドレスを紹介していただけると非常に嬉しく思います。
「ヒューマンシーケンサー2.0」を使ってくださった人の情報
この記事が気に入ったらチップで応援してみませんか？