VRChatでダンスを魅せるためのVR技術について～2024/7あきたん会再公演レビューから～
お久しぶりです。sunikaです。
書きたいことがでてきたので久々の投稿です。
今回は私のフレンドのakidenさんのVRダンスパフォーマンスがすごかったことについて語りたいと思います。
私は純粋なダンスのことについてあまり詳しくないので、この記事では少しマニアックですがVRならではの表現に焦点をあてます。私が勝手にVRダンスの限界と思っていたことがakidenさんに塗り替えられたことが衝撃的だったので・・・
akidenさんとあきたん会
akidenさんはダンスを通じた私のVRChatのフレンドで、この記事の執筆時点でVRダンス歴2年弱になります。akidenさんは私と同じく”踊ってみた”が好きなのですが、私とは比較にならないほど高い熱量を持っていて、"踊ってみた"の世界観を高い情報量で表現することを目指している、そんな人です。
VRダンスには沢山のVR機材を持ってしてもまだ制約が残る部分もあれば、現実のダンスより優れている部分もあります。こうしたリアルとの差があるため、VRダンスをより良く表現するためにはダンススキル以外にも工夫が必要になります。akidenさんはストイックに純粋なダンス技術も高めていましたが、VR上の表現方法についてもすごく細かく気にかけていて、この2年の間こつこつとノウハウを積み重ねていました。
そのakidenさんが凡そ3か月の準備期間を経て、2024/6/23-24の自身の誕生日イベントとしてのワンマンVRダンスライブ”あきたん会”をVRChat上で発表しました。VRChat上のルーム上限人数80人が埋まるほど盛況だったそうです。その1か月後の2024/7/17に曲数を増やして”あきたん会再公演”が発表されました。
私はこの"あきたん会再公演"をVRで見たのですが、ここでのVRダンスパフォーマンスの色々な工夫に私はとても衝撃を受けました。VRダンサーの端くれである私から、その一つ一つの表現の何に驚いたのかぜひ皆さんにも知ってもらいたいと思い、いくつか語らせてもらえればと思います。
VRダンス中の表情と手の形について
"踊ってみた"はいわゆるkawaiiも表現できるダンスです。kawaiiアバターを魅力的に見せるためには、ダンス中に曲に合わせて表情変化できると生命感が醸し出されるので、できるならやったほうがいいと私は思っています。しかし、アバターの表情を変えることは実は簡単ではありません。
VRChatでは手のコントローラ上決められたボタンに触れることで、設定された表情を浮かび上がらせることができます。これは慣れるのに少しの修練が必要ですが、練習すればできるようになります。ただダンス中は当然身体の動きにも気をつけなきゃいけないので、無意識に色々な表情設定を繰り出せる高いコントローラ操作スキルが必要になります。
私の場合は表情を変えやすいように、このコントローラ上の操作が簡単なVive proコンを使っています。Vive proコンは重たいですが、他のコントローラと違って複雑な操作が必要なく、トラックパッドの触る場所を変えるだけで切り替えられるのが良いところです。
しかし、表情表現の工夫は別の問題を発生させてしまいます。VRChat上、表情変化はアバター上の手の形の変化(ハンドサイン)と連動するようになっています。目を瞑る表情設定と手を開くハンドサインを連動させた場合、ダンス中に目を瞑ろうとすると同時に手が開かれてしまいます。これを連動させない場合は、一般的にはコントローラのボタン長押しで出すリングメニューで表情を切り替えるくらいしか方法がなく、即応性に乏しいです。このため、表情変化をリアルタイムできれいに切り替えることを選んだ場合、手の形は犠牲にせざるをえないのです。
逆に表情よりも手の形をきれいに見せることを選ぶ人もいるとおもいます。この場合、indexコンを使うことが一般的です。これは、グリップ部分が圧力センサになっていて、手の形を自由に動かすことができます。しかし、このコントローラで表情を動かすのはVive proコンに比べて難易度がとても高いです。これにface trackingを組み合わせれば表情の問題は多少軽減されると予想しますが、泣き顔やウインク等、リアル顔で再現が難しいかわいい表情をリズムに合わせて出すことは難しいでしょう。
なので、私としては、VRダンスでは、表情変化をとるか手の形をとるかどちらかしか選択できない状況だと思っています。私はこれが一つのVRダンス表現の限界だと考えていました。
でも、akidenさんは、豊富かつタイミングのあった多頻度の表情変化と、曲に合わせたきれいな手の形を両立させながら、沢山の曲(14曲！)を踊っているように見えました。正直、どうしたらそのように見せられるのか今でもわかりません。曲毎に表情マッピング設定を変えている？ハンドサインの動きをカスタムで調整して目立たないようにしている？私は何かに化かされているのでしょうか。すごい。
VRの中での音楽と動きのずれについて
VRダンスをVR上で見てもらう上でもう一つ大きな問題があります。それは同じVR上の観客から見て、音楽と演者の動きにずれ(遅延)が出てしまうことです。
VRChatでは2021/6に日本サーバができて以来、VRChatサーバと各プレーヤー間の通信所要時間の改善によりこのずれは大分小さくなりましたが、それでも演者本人の感じる動きと観測者とでは、VRChatサーバとのデータ伝送通信分のずれが発生します。この遅延のため、演者本人がVRChatワールドの音楽に合わせて踊っていても、同じインスタンス上の観測者からするとワールド音楽から多少遅れて動いているように見えます。なので、VR上で多人数のダンスの動きを一致させることや、音楽とぴったり合わせた動きをVR上で別の観測者に見てもらうことは技術上解決されていない仕様なのです。
こうしたオンライン上の同期ずれを少しでも解消するために色々な工夫があります。たとえば、音楽界隈では、YAMAHAのsyncroomというサービスがあり、オンライン上での合奏が可能となる技術が確立されています。しかしこれは音だけの世界で、かつYAMAHA独自の"NETDUETTO"という技術(=音声データのみ/P2P接続前提)によるものであり、VRChat上ではこの遅延問題がまだ残存しておりまた解消される見込みがないというのが現状です。そのため、VRでのリアルタイム表現はこの遅延がある前提で行う必要があります。私はこれももう一つのVRダンス表現の限界だと考えていました。
私の場合はこれがあるからVR上で人に見てもらうというのは難しいと思っていて、発表の場として配信を選好している理由でもあります。
でもなぜかあきたん会では演者サイドのなんらかの工夫で、ワールド音楽・演出と演者の動きが大きなずれなく表現できていました。"踊ってみた"はキメもあるポップな曲が多いので、この遅延現象が表現上致命的になることが多く、VRで見せる場合難しいジャンルだと考えています。しかし、akidenさんはこの遅延を恐れることなく真正面から表現に挑戦し、これを表現しきっていたので本当にすごかったです。
遅延は観測者サイドがどこにいるかによって見え方も異なるはずなので、皆が集まってからなんらか遅延の補正を行ったということでしょうか・・もしくは観測者を全員軽いアバターにすれば、通信データ量が減って遅延が小さくなるということでしょうか？普通のVRイベントと比べて遅延をどうやって抑制できたのか気になっています・・・すごい。
VRの中での衣装表現について
VRでは衣装変えを一瞬でできることができ、これはVRならではの表現の一つです。これは一つのアバターデータの中に衣装情報を何着も含ませておくことで可能になります。
しかし、ダンス中に衣装を複数回変えることはあまり現実的ではありません。身体全体を動かしている最中に、呼び出した手元のメニュー上で衣装切り替えボタンを操作することは、難しいものです。
でもakidenさんはカメレオンという曲で、１フレーズ毎に衣装をローテーションする演出を行っていました。曲とあいまった演出かつ、リアルではありえない表現でとても興味深い演出でした。どういう技術なんでしょう・・最初から時間指定で何秒後に特定の衣装に切り替わるとかの設定を仕込んだとか？そうだとしても音楽とどう同期させるのでしょうか？すごい。
練習風景を見ても仕組みはわからないですが、VRならではの表現ですね！
また、あきたん会では曲毎に衣装が変わっていましたが、スカートの表現にこだわりがありました。VRChatでのスカート衣装はPhysbonesという技術を使って揺れを表現するのが一般的ですが、衣装shopのBOOTHでも最近あまり見かけなくなったclothという技術を使っていました。これはリアルな揺れを表現できるのですが、Physbonesに比べその設定は簡単ではありません。akidenさんのtweetでもこれに取り組む困難さが過去何度かつぶやかれていました。しかし、そのakidenさんはこれを無事習得し、ライブでは独自にcloth技術を施した衣装を着こなしていました。ターンの多い曲を踊るakidenさんがより映える工夫だったと思います。すごい。
ボクもclothユーザです
— akiden (@akidenV) June 27, 2024
ノナちゃんの以下は自前cloth化
ゴシックパレード
春歩きコーデ
それ以外にも
セーラーワンピース
スイセレさんの全般がそうです
ちゃんと調整されたclothはいいぞ！
おわりに
あきたん会はアーカイブないのが残念だね！
でも本当すごいLiveでしたので、X/twitterのハッシュタグ #あきたん会 の写真を見ながら次のakidenさんのLiveを楽しみに待ちましょう！
この記事が気に入ったらサポートをしてみませんか？