音場の計測＆可視化AR/MRシステム「OTOMIRU」について【XRKaigi2021アプリケーション部門優秀賞】
🌟 当記事の主な対象者 🌟
* XR Kaigi 2021 に参加される方
* AR/MR技術に興味のある方
* 騒音への配慮が必要な業種の方(建築業、製造業など)
* 演奏家やPAエンジニアなど、音楽に関わる活動をされている方
はじめまして、井上( @a_hancho )です。
早稲田大学研究院客員講師、および株式会社INSPIREI代表をしています。
このたび、飛島建設(株)さまと共同開発中のシステム「OTOMIRU」を、XRKaigi2021にて展示することとなりました！
これまで、国内外の音響学会(InterNoise2021、日本音響学会)にてオンライン発表を行ってきましたが、そのほかの業界でのお披露目や、実際にデモをする機会は初めてとなります。
当記事ではXRKaigiに先駆け、おそらく世界初となる
「音場計測 × 拡張現実(AR) / 複合現実(MR)」
の取り組みをご紹介いたします！
OTOMIRUとは
OTOMIRUの概要を1分でまとめたPVを作成いたしました！ ぜひご覧ください。 pic.twitter.com/6WlU1GuDt5
— INSPIREI, Inc. (@INSPIREI_inc) November 1, 2021
簡単に言うと、HoloLens2やiPad上で音圧分布(音の強弱)が見えるシステムです。音を見ることができるからOTOMIRU。そのまま。
計測機器は16chマイクロホンアレイ。
16個の音圧信号から、ビームフォーミング法という計算手法により、遠方の平面上の音圧分布が算出されます。
計測結果はAR/MRデバイスに送信され、カラーマップに変換。
事前に設定(マーカ認識 or ハンドトラッキング)した計測機器位置から、空間形状に投影するように表示します。
💡 仕様まとめ 💡
- 計測距離や範囲
0.5 [m]先の0.5 x 0.5 [m^2] ~ 25.0 [m]先の25 x 25 [m^2]範囲まで
- カラーマップの更新速度
デフォルトは最大25.0 [fps]で送信。ゆっくり見たい場合は、AR/MRデバイス内において0.1-20.0 [fps]に固定可能。
- 周波数帯域
50 -12750 [Hz]の範囲で任意に設定。設定次第で「高い音のみの可視化」など可能。
- 同時体験可能デバイス数
iPadとHoloLensで合わせて4台まで
- その他機能
カラーマップの変更、表示音圧範囲固定[dB]、データの保存＆読み込み機能など
詳細は飛島建設リリースページをご覧ください！👇 👇 👇
活用事例
検討中の事例を2つご紹介します。
① 騒音問題の解決
飛島建設(株)さまの現場にて検証をしています。
建築現場は、周辺住民に対する騒音の配慮が必要です。
騒音規制法では、「現場環境や時間帯に応じて〇〇dB内に収めなくてはいけない」という明確なルールがあるようですね。
OTOMIRUにより、迅速な騒音対策が可能となったり、対策の結果を確認することができます。現場の強い味方となるでしょう。
⓶ 音空間デザイン
「吸音材を置いたら、響きが良くなった！」というのはよくある話。
音の可視化によって、それを的確に行うことができるかもしれません。
演奏家のみなさまご協力のもと、OTOMIRUを使用した実験をしました。アクリル板を置いたりなど、いろいろ試しています。
狭い部屋の中でリハをやってみた際に、PAエンジニアの方が
「自分が耳で聞いて、音がこもっているように感じる部屋の場所が赤くなっている(カラーマップ上で音圧が強い箇所)」
とおっしゃっていたのが印象的でした。
音の可視化コンサートも検討中です。
協力 : 渡邉紘STRINGSさま
AR/MRを音場の可視化に使用することのメリット
OTOMIRUを含め、研究室では「音場の可視化×AR/MR」研究をさまざま行ってきました。
一般的な据え置きのPCモニターでの可視化と比較すると、以下のようなメリットが得られます。
💡 AR/MRによる音場の可視化のメリット
- 実空間と音場情報を対比できる
- 移動しながら多角度から観測できる
- 両眼立体視により音場や計測範囲の奥行き情報がわかる(グラス型デバイスを使用した場合)
- AR/MR関連技術(マーカ認識、空間認識など)を利用し、新たな計測方法や音場情報表現を生み出せる
今回使用している測定手法であるビームフォーミング法の場合、カメラ映像にカラーマップを重ねる表現が一般的です。
そこにAR/MRを活用したOTOMIRUは、以下がわかりやすくなりました。
💡 AR/MRによる音場の可視化のメリット(OTOMIRUの場合)
- マイクロホンアレイ正面方向の計測範囲の距離感
- マイクロホンアレイから計測範囲の間にある障害物や壁の存在
今後の展望
現行のOTOMIRUはv1.0...。
iPhoneのように、どんどん進化＆普及に努めていきたいと思います！
💡 主な改良予定
1. センサーの小型化
2. より自由な計測範囲の設定(現状は機器に対して平面上の範囲のみを計測できる)
3. 立体的な音場情報表現
1のセンサーの小型化はそのまんまの意味。
2と3は言葉で表すと難しいですが、現状システムは広範囲に投影してどーん！という感じ1択のところを、計測範囲をより自由に設定したり、別の表現方法を追加していきます。
製品化は少し先...というところですが、現状でもかなり面白いものになった自信はあります！
学会等を通じて「〇〇の現場で実際に使用したい！」というような声もいただく機会があったので、音場検証の要請等もご相談ください。
OTOMIRU 制作の経緯
「音響工学×AR/MR」の研究は、
早稲田大学 基幹理工学部 表現工学科 及川靖広研究室
東京電機大学 未来科学部 情報メディア学科 池田雄介研究室
が2016年より行っています。
三次元音響インテンシティ可視化システムによるエンジン音の可視化
はじまりは2016年より私と先生方がはじめた👆の研究。
これがどんどん派生し、現在は5~10名ほどの学生さんがHoloLensやAzureKinectを使用した音響の研究をしています。
その取り組みを知った飛島建設(株)さまが声をかけてくださり、OTOMIRUプロジェクトははじまり...7月にリリースいたしました。
リリース時はHoloLens版のみでしたが、現在はiPad版も用意できました。
ちなみに...私はxRエンジニアの個人事業主をしていましたが、これをきっかけに大学に戻ってきたり、紆余曲折あって会社もつくることとなりました。人生いろいろ。
XRKaigiにむけて
XRKaigiOnlineでは出展企業のブース、XRMatsuriではHoloLens2版とiPad版両方を用意してお待ちしております！
音場の計測＆可視化にAR/MRを活用している事例はまだ見ないので、ちょっと大げさですが世界初と言えるはず...
ひとりでも多くの方に知ってもらえる機会になったらいいなと思います！
-----
OTOMIRU Credit
飛島建設株式会社 技術研究所第二研究室
小林 真人、岩根 康之、佐藤 考浩
早稲田大学(開発協力および計測委託業務 : 株式会社INSPIREI)
井上敦登、寺岡航、及川靖広
この記事が気に入ったらサポートをしてみませんか？