ダンスxテクノロジーのイベント「SIGDance」を振り返る
先日、SIGDance Cyper Session vol.2というイベントが開催されました。SIGDanceというのはダンスとテクノロジーに関わる方々の交流の場として作られたコミュニティで、今回からそのコミュニティのイベント運営に関わっています。そのイベントがダンスとテクノロジーを考える上でヒントになりそうなことが多かったので、今回まとめてみようと思い、筆を執っています。
ちなみにSIGDanceのイベントは今回が2回目で、第1回は2018/12/11、第1.5回が2019/08/04にありました。特に第1回は本当に豪華なメンバーで、これを超えるイベントはもうできないのではと思っていたのですが、今回はそれを上回る豪華なメンバーと講演内容だったと自負しています。
以下が講演者、タイトル、概要(私の独自解釈)です。詳細はこちら
「オンラインダンスレッスンにおける講師-生徒サポートシステム」土田修平（神戸大学）
概要: VRを使用したオンラインダンスレッスンに関する技術的提案
「音楽とダンスの権利について」金光聖史（アノマリー）
概要: Dリーグにおける楽曲やダンスの使用権利とダンスデータプラットフォームについて
「ダンス視聴中の脳内情報処理」高木 優（東京大学）
概要: 脳内の動きに応じた二次元上の関節位置の推定技術提案
「AR/VRを用いたスポーツビジュアライズと、コロナ禍におけるリアルイベントの体験価値創出について」花井裕也（Rhizomatiks）
概要: フェンシングの剣先及び身体のトラッキングとビジュアライズ、またマスクデバイスを用いたライブ演出
「バレエの上肢動作における審美的要因の特定」 河野 由（国立スポーツ科学センター）
概要: バレエの初級者と熟練者のモーキャプデータ分析に基づく審美性に関わる部位とその動きの特定
「ダンスにおける演者ー観客系の包括的理解に向けて」 清水大地（東京大学）
概要: ダンサーと観客、ダンサーとダンサー間のグルーブやBack to Backにおける互いのインタラクションの分析
「Israel & イスラエル—AIを用いたフラメンコ・パフォーマンスの拡張と音楽生成」 徳井直生（Qosmo/慶應大学）
概要: AIを用いたタップ動作生成によるプロのフラメンコダンサーへの振付フィードバック
(個人的に)面白かったことを振り返る。
いずれの講演者の方々もダンスに関するプロジェクトをする上で様々なキャプチャ方法にトライしていました。例えば、土田さんや徳井さんは既製品のHTC VIVE Proやオリジナルのハードウェアデバイスによる動作の取得、金光さんや河野さんはモーションキャプチャ。清水さんや花井さんは画像解析。高木さんはMRIを用いた脳波データと本当に様々。同時に、フレームレートやクオリティなどでできることが大きく変わってくるために、ダンスのプロジェクトを行う上で動作のキャプチャは非常に重要なプロセスであるといえます。
そして次に、キャプチャしたデータをどう活用するかによる違い。土田さんは動作解析に基づく動作のスコアリング。金光さんはモーションデータの売買によるダンサーへの利益還元。高木さんや花井さんはビジュアライズ。河野さんと清水さんは解析・分析。徳井さんは学習に基づく新たな動作の生成及びダンサーへのフィードバック。これも多種多様で非常に面白かったです。
講演内容を通じて見えてきたこと
ダンスに関する技術開発において、様々な目的やアプローチがあることが改めてわかったと同時に、今回聞いた内容を分類分けできないかな、と思い、個人的な見解ですが、以下のようにまとめてみました。
1. ダンスの理解(学術)
2. ダンサーへの支援(教育、創作、権利)
3. ダンスの可視化(エンタメ)
上記にまとめて、イベント全体をうまくとらえられたかなと思って個人的にすっきりしてます(笑)
上記のいずれもデータの取得が重要で、既存のデバイスを使用したり、独自にデバイスを作ったり、動画から推定できるようにしたりと多種多様でした。個人的には動画から推定できるようになるとより広くダンスに関する技術開発が進むのではないかと思っています。そこで、最新研究の公開されているコードを試したりもしているのですが、こちらはまだまだ道半ばという感じです。特に全身が回転したりするケースは現状難しいようです。
パラメトリックなボディモデルを使用したトラッキングならもう少しいいかもしれません。また、多視点動画だと改良の余地はありますが、それも結構敷居が高い気がします。いずれにせよ、こうした公開されているコードやモデルは商用利用は難しいので、自分でやるにはいろいろハードルが高いですね。その点、花井さんがお話しされていたライゾマティクスのトラッキングは自らデータのキャプチャやアノテーションを行い、トレーニングしたモデルでリアルタイム推定しているのは驚嘆でした。
ダンスxテクノロジーの今後
今後どんなことができるようなってくるかを考えるとなお面白いですね。まずは「ダンスの理解」の先に何が待っているのか気になります。例えば、ダンスの上手な人と下手な人の違いが分かった時に、効率的にダンスを上達できる方法論が確立されるのかどうか。また複数人のダンサー同士の関係性が見えた時に、あるダンサーの相手ができるようなAIができたりするのでしょうか。その相手となるAIダンサーも基本に忠実なのか、それを崩してくるのかも非常に重要になってきそうです。
ダンスの可視化に関しても、我々が普段YouTube等で二次元で見ているダンスも多視点で見たり異なるプリミティブで見たりすると楽しみ方も変わってくるかもしれません。スケルトンレベルでもいいですし、軌跡情報、はたまたデジタルヒューマンになったりするとその再現度についてレンダリングやアニメーション、物理シミュレーションといった技術が必要になってきそうです。またVolumetric Videoのような多視点映像もエンタメや支援などに応用できそうですね。エンタメ的には、ダンスのスコアリングができるようになると歌って踊るカラオケスペースみたいなものもできるのでしょうか。とにかく無限に出てきます。SIGDanceのイベントとしてありかどうかわかりませんが、こういったアイデアを出し合ったりするのも面白いかもですね。
おわりに
今回のSIGDance Cypher Session vol.2のイベントを通じて、様々な視座を知ることができ、また将来の技術などについて想像を膨らませることができました。そして個人的には、上記に示した理解、支援、可視化を逸脱するような何かが、新しくて面白いものへのヒントを含んでいるんじゃないかな、とも思ったりします。
あと今回のイベントを踏まえてどう今後のイベントをアップデートするかについて考えると、パネルディスカッションのような時間を設けて、講演者同士の考えや取り組みの関係性を知れたらよかったな、と思っています。例えば上記の分類分けを議題に、各講演者からのフィードバックやそこからどう逸脱するか、もしくはそれぞれをどう絡めていくかといったことを議論できたらもっと面白かったかな、と思います。
今回イベントを運営してみて、改めてオンラインの交流会は難しいなと思いました。このあたりも目先はバーチャルなアバターとかで交流したりできるといいんですかね。このあたりはまだまだやることがたくさんありそうです。
SIGDanceのイベントは不定期なので、次回はいつか全く決まっていませんが、だいたい一年後くらいでしょうか。それまでいろいろと自分でもネタ作りに励もうと思います。
最後に、イベントの運営の皆様、講演者の皆様、参加者の皆様、また本記事を読んでくださった方、どうもありがとうございました。