舌打ちの「音」が可視化！？岐阜大学生3人が開発したVR作品「MEcholocation」は、暗闇なのに歩ける！触れる！を実現
今日の記事は「エコロケーション」がポイントです。日本語では「反響定位」ともいわれ、動物が音や超音波を発し、その反響によって物体の距離や方向、大きさなどを知ることを指します。たとえば、コウモリやイルカの行動例として、よく挙げられます。
実は、マンガやアニメで目にした人もいるかもしれません。シリーズ累計2300万部の人気マンガ『ゴールデンカムイ』に登場する「都丹庵士」は、盲目でありながらも、舌を鳴らした音の反響で周囲を把握します。2022年の話題作となったアニメ『リコリス・リコイル』の「真島」も、舌打ちの反響で相手の位置を知り、暗闇でも戦えるシーンが印象的でした。
そんなエコロケーションを元に、見えなくても「歩ける・触れる」体験ができる作品があります。岐阜大学工学部電気電子・情報工学科に通う3名の学生が、Unityを活用して作った「MEcholocation」です。
この作品は、HMD（ヘッドマウントディスプレイ）のMeta Quest 2を装着して舌打ちをすると、真っ暗なVR空間に音の跳ね返りが「弾」として可視化されます。それにより、体験者は暗闇の中を歩き、物体を認知することができるのです。言わば、都丹や真島の能力を疑似体験できる……と言ってもいいでしょう！
インタラクティブ作品のコンテスト「IVRC」2022年度でも賞を得た本作。エコロケーションというユニークな体験に着目したのには「狭い分野でもいいから、世界一の作品に」という教えがあったからだと言います。
制作に携わった小木曽直輝さん、阪井啓紀さん、酒井康希さんに、「MEcholocation」を完成させるまでの変遷を聞いてみました。
暗闇の中でも「歩けた・触れた」という体験
──「MEcholocation」には、どんな機能を活用しているかを教えてください。
阪井：体験前の準備として、空間を3Dスキャンして、データをVR内に取り込みます。iPhone 12 Proシリーズ以降には、レーザー光の反射でモノや地形の距離を読み取る「LiDAR」が搭載されていますので、それを用いたアプリ『3d Scanner App』を使います。
小木曽：準備が整ったら、Meta Quest 2を装着して、作品を起動してください。舌打ちをすると、VR空間上に音の跳ね返りが「弾」として出現します。舌打ちの検出には、ニューラルネットワークの一種である「マルチレイヤーパーセプトロン（MLP）」を使用して、誤検出を減らしています。
阪井：工夫した点としては、手に持つコントローラーを使わずに、自分の手を使ってVR空間での操作を可能にする「ハンドトラッキング」機能を活用したことです。コントローラーを持ってしまうと、暗闇で壁や机が触りづらくなりますから。一手間でしたが、実装してよかったです。
小木曽：「MEcholocation」は暗闇の体験ですが、音に見立てた弾を可視化するためにも光源が必要です。これはUnityのレンダリングを活用して、机や壁などを見せずに弾だけが見えるよう実装しました。
狭い分野でいいから、世界一になるものを
──岐阜大学工学部電気電子・情報工学科の情報コースに所属していますよね。ふだんは、どんなことを学んでいるのですか？
酒井：データ分析・解析、人工知能などの知識処理、音声や画像のマルチメディア処理などのコンピュータ技術を学んでいます。具体的には、1年生でC言語、2年生でJavaなど基礎的な能力を身につけ、3年生で画像処理やパターン認識、人工知能と機械学習などを学びます。
──3人が作品を作るきっかけは、何だったのでしょうか。
阪井：3年生後期に開講された木島竜吾准教授の授業がきっかけです。ヒューマンインターフェイスやバーチャルリアリティを専門とする先生で、「新しい体験を作る」をテーマにチームで作品を制作することになって。もともと大学入学時に知り合い、友人だった3人が集まりました。
小木曽：最初は、アイデアを出しても先輩や准教授から「これは新しくない」とダメ出しばかり（笑）。それでも「狭い範囲でいいから、その分野で世界一になるものを作れ」という准教授の助言を胸に、議論を重ねました。
その時にできたのは、音だけで暗闇からの脱出を目指すスマホゲーム『Dark Echo』を参考に、。実験的に作ったのは、「コウモリの超音波によるエコロケーション」でした。これは「MEcholocation」の原型になっています。
──では、いつから人の舌打ちによるエコロケーションへと？
小木曽：インタラクティブ作品の企画力・技術力・芸術性を競うコンテスト「IVRC2022（Interverse Virtual Reality Challenge）」の出展に向けて、コンセプトを練り直しているときです。
有難いことに、授業最後の発表で、過半数以上の学生が実験作品を評価してくれました。さらに、木島先生の後押しもあって、IVRC2022に挑戦することに決め、出展に向けてブラッシュアップしました。
酒井：IVRC2022に出展するには、実験作品ではゲーム性が強く、ユーザーが操作して何かしらの反応がアプリケーションから行われるようなインタラクティブ性が弱いことが課題でした。特に「なぜ暗闇へ弾を飛ばすか」という根拠が「コウモリの超音波によるエコロケーション」では薄いなと感じました。
そこでリサーチを重ねて、「人間の舌打ちによるエコロケーション」を知りました。先天的な視覚障がい者であるダニエル・キッシュさんという方が、舌打ちによるクリック音の反響で周囲を把握しながら暮らしていることがわかり、作品のコンセプトにつながると考えました。
小木曽：ダニエルさんはTEDにも登壇して、CNNやナショナルジオグラフィックにも取り上げられた方です。そこから、舌打ちを検知する機能や部屋を歩けるように『3d Scanner App』の活用などをしました。
結果、IVRC2022では、2009年にお亡くなりになった東京大学大学院情報理工学系研究科 講師 川上直樹氏にちなんだ「川上記念賞」をいただきました。とても嬉しかったですね。
研究と作品、同時進行だからこそ完遂できた
──3人でどのように開発を進めたのか教えてください。
阪井：私と小木曽が実装を担当しました。小木曽は以前からゲーム制作にUnityを使っていましたが、私は「MEcholocation」で初めてUnityを触りました。なので、ネットで調べつつ、小木曽に質問しながら進めていきました。
酒井：プレゼン資料や動画など、開発以外を私は担当しました。進め方としては、週1回集まって、コンセプトや機能のアイデアを出して、次に集まるまでのタスクを決めていました。
──開発にあたって、工夫した点はありますか？
阪井：研究室で自動運転について学んでいて、そこでの知見が「MEcholocation」に活かされています。たとえば、LiDARは自動運転には欠かせない技術と言われています。
酒井：舌打ち検知に使われている「マルチレイヤーパーセプトン」は、私と阪井の研究室で画像処理について学んでいて、そこで開発したものを応用しています。
阪井：研究と「MEcholocation」が同時進行だったからこそ、学んだことを作品に昇華させられました。ただ、同時に進めるには時間が足りなくて、とても忙しかったですが（笑）。
──忙しいなかでも、「MEcholocation」を完遂させるというモチベーションは、どこから来ていたのでしょうか。
酒井：私は授業の最後に、たくさんの人たちから評価をもらったのが大きいですね。作品を制作するのも初めてでしたし、このように評価をもらった経験もなかったので。
小木曽：同様に、いろんな人たちに見てもらえるのも嬉しかったです。もっと作品を広めるためにも「IVRC2022で賞をとるぞ！」という気持ちがモチベーションになっていました。
阪井：私は改良した部分を2人に見せるのが、モチベーションになってました。ときには「この機能はいらない」と言われることもありましたが（笑）。Unityに触るのも初めてで苦労はしましたが、「これはいいね」と言ってもらえるようアイデアを形にするのが楽しかったです。
ゼロから学んでもUnityだからつくれた
──阪井さんは「MEcholocation」で初めてUnityを触ったと。どのように学んで、作品に落とし込んだのでしょうか。
阪井：一つは「習うより慣れろ」ですね。Unityについて書かれた記事はたくさんあるので、「この単語は、こういう意味なんだ」と確かめながら実装するのを繰り返すのが、一番成長すると思います。
もう一つは、そもそもUnityがリアルタイムで反映してくれるので、使いやすかったです。ゲームをJavaで制作した経験がありますが、それに比べるとUnityは実行しなくても状況が可視化されるので操作のしやすさに驚きました。
──「Unityだからこそ実現できた」と感じることがあれば、ぜひ教えてください。
小木曽：Unity経験者からすると、「MEcholocation」ではそこまで難しい実装をしていません。物理演算やシェーダー、レンダリング、LiDARなど、使いたい機能をスムーズに統合できたのはUnityのおかげだと思っています。
──最後に、ぜひこれからUnityを使ってどんなことに挑戦したいか、お聞かせください。
小木曽：ゲームを開発したいです。『ファイナルファンタジー』や『ドラゴンクエスト』みたいに、ビジュアルにこだわったRPGを作りたいです。
阪井：「MEcholocation」では、アニメーションやシェーダーは既存のものを使うことが多かったです。今後は、より綺麗に演出したり、凝ったアニメーションを制作してみたいですね。
酒井：私はシミュレーションゲームが好きで。現実の街並みをバーチャルに再現したり、考えたものをVR上に表現してみたいです。