自分なりにPerfumeの”デジタルな”演出を考えてみたい

大学受験のセンター試験二週間前にPerfumeにハマった。

Youtubeに上がってたライブ映像を見たときになんとなく「これだ」と思った。Perfumeのダンスの無機質な感じとプロジェクター等を使うテクノロジーベースの演出が自分の理系の感覚にスッと入ってきた。自分の思いを情熱的に表現できるようなタイプではなかったから、無機質な感じが尚更受け入れやすかったんだと思う。

大学生になってPerfume的な演出を作ってみたいと思って、ライブにしきりに通い（合計３０回以上行ったと思う）、自費でプロジェクターを買ったりしていた。同じ内容の公演を何回もみているから、演出に使われている技術の仕組みを妄想したりしていたが、何せプログラミングが全くできないんだから、なにも表現できずに数年過ごしてしまった。趣味でジャグリングをやっていたので音楽に合わせてジャグリングしたり、音楽に合わせて動画を編集して気を紛らしていたけど、「Perfumeを表現したい」という漠然とした夢は全然達成できずにいた。

ところが最近、ひょんなことをきっかけにプログラミングというものを教えてもらえてPythonという言語を使っていろいろ遊べるようになった。だんだん自分の思いどおりにコードをかけるようになってきたので今回、Perfumeを題材に少し遊んでみた。

Perfumeの演出をみていると、３人の体をポリゴン的に表現している映像がある。最近増えてきた。Perfumeの演出の技術面を支えてるライゾマティクスの人たちは、高価な機材をたくさん使ってPerfume3人の3Dデータを取得してライブ映像を作っている（はず）。

一方で、Perfumeは来年で結成25周年になるほどベテランでライブ映像もたくさんあるのだから、高価な機材を使わずともこれまでの映像の記録から3Dモデルのようなデータを抽出できるはず。ということで、まずはポリゴンを作るための点群の取得をやってみる。

点群を取る題材の動画はPerfume公式の映像を使いたかったけれど、なかなか固定点で取っているダンスの映像がなかったのでファンの人が取ったものをお借りした。

今回できたのが下の動画。結論から言うとポリゴンを作る前の点群を取るところで力が尽きてしまった。

やったこととしては、
１、元動画から動画をトリミング（iPhoneのトリミング）
２、かしゆかの足元の場ミリを指標に手ぶれ補正（Python+OpenCV+manual）
３、各画像のフレームから関節などの点群取得（Python+OpenCV+manual）
４、可視化の方法の探索。

あんまり賢いことはしていなくて、すべて点群は手動で取っている。34秒 x 10フレームずつ=340枚の画像で~20点ぐらい取ったので結構疲れた。最初の目的ではポリゴン像を作るぐらい大量の点を取るつもりだったので、機械学習の姿勢推定では足りないだろうと思って手動で点を取り始めたが、結局は姿勢推定で取るぐらいの点の数しか取れなかった。（参考：過去に姿勢推定を試してみた例↓）

一番面白いところは、４番の可視化の方法の探索だった。ただ単に点を取るだけでは面白くなくて、関節同士を結ぶなどいろいろ検討してみた。最終的に隣のフレーム同士の点を結ぶ（差分differentialをとる）方法が一番動きのダイナミック考えられて面白いことがわかった（他にアイデアあったら教えてほしい）。

やはりポリゴンを作るにはBlenderとかつかうしかないのだろうか。Blenderなども導入しつつ、先に書いたように「Perfumeは来年で結成25周年になるほどベテランでライブ映像もたくさんあるのだから、高価な機材を使わずともこれまでの映像の記録から3Dモデルのようなデータを抽出できるはず。」という考え方も忘れたくないので、もっといろいろ検討してみます。以上。