Facebookは聴覚を強化する。音響周辺技術の研究内容を公開。

FacebookのAR/VR関連部門である「Facebook Reality Labs」の研究チームは、人の聴覚や音響技術に関する研究内容を公開しました。

「知覚的に現実と区別がつかない仮想サウンドを作成することと、人間の聴覚を再定義すること」の2つをチームの使命として掲げ、この使命を果たすために2つの新しい機能を提供することに焦点を当てています。

1つはオーディオの存在—仮想サウンドのソースがユーザーと同じ空間に物理的に存在し、現実世界と区別がつかないほど忠実に再現されているという感覚です。次に、知覚的超大国—向かい側に座っている人の音量を上げ、不要な環境音の音量を下げることで、騒がしい環境でもより聞けるようにする技術の進歩です。

リアルな音響技術の要素

研究チームは、このプロジェクトが「FacebookのARグラス開発にもこの技術技が関連している」と明言していますが、その研究の一部はVR技術にも幅広く適用されています。

「あなたが電話をしていて、その会話が距離によって隔てられていたことを忘れていたと想像してください」と研究主任フィリップ・ロビンソンは言います。「それが私たちが開発しているテクノロジーの約束です」

この音響技術を実現するためには、2つの重要な課題があると言います。

1）リスナーの環境のユニークな聴覚特性を理解すること

2）リスナーが生理学に基づいて音を聞くユニークな方法を理解すること

部屋の音響特性（全体に響く音）を理解するには、ヘッドセットのトラッキングセンサーから既にマップされている形状に基づいて、部屋の音を推定する必要があります。部屋の特定の表面の音響特性を推定できるAIと組み合わせると、実際の音が空間をどのように伝播するかという推測を使用して、仮想サウンドが実際に同じ部屋の内部から来ているように聴かせることができます。
Facebookの研究者たちは、この情報はFacebookが構築しているARクラウドのLiveMapsに追加され、同じ空間にある他のデバイスによってリコールされるため、今後この音響特性に関する推測は精度が上がっていく見込みだと述べています。

2つ目の大きな課題は、人によって異なる頭と耳の形状に基づいて、どのように音を聞きとっているかを理解することです。

これまでの聴覚に関する研究から、人それぞれの形状の耳で音の聞き取りにどのような違いがあるか、という点は、HRTF（頭部伝達関数: Head Related Transfer Function、身体を含めた周辺物によって生まれる音の変化を数値化したもの）で表すことができます。

しかし人それぞれのHRTFを計測することは非常に手間がかかり、多くのユーザーへの一律適用は現実的ではありません。

そのため、Facebook Reality Labs Researchは、「耳の写真のようなシンプルものから、パーソナライズされたHRTFを近似できるアルゴリズムを開発し実用化すること」が大事だと述べています。

コンテキスト認識ノイズキャンセル

Facebook Reality Labs Researchは、対面での会話のようなクオリティまで音声品質を強化したいと考えています。

彼らが行っている1つの方法は、状況に応じたノイズキャンセルを実行することです。従来のノイズキャンセレーション技術は、すべての外部の音をキャンセルすることを目的としていますが、状況に応じたノイズキャンセルは、ユーザーが聞きたい音のみを抽出し、残りの音声を減らすことで聞きたい音と外部の音を分離しようとします 。

このために、Facebookの研究者たちは、いくつかのマイク、ヘッドトラッキング、アイトラッキングを備えたプロトタイプのイヤフォンとプロトタイプグラスを作成しました。グラスデバイスはユーザーの周りの音だけでなく、ユーザーが見ている場所の音も監視します。収集した情報を使用して、ユーザーが聞きたい音を理解するアルゴリズムの生成を目的としています。

それは、テーブルの向こう側にいる人との会話でも、部屋の隅にあるテレビ音でもかまいません。その情報は、他のすべての音を減らしながら対象からの特定の音を強調するためにアルゴリズムのオーディオ処理部分に送​​られます。

Facebookは、最終的にこの音響技術をARおよびVRヘッドセットに搭載することを目標に取り組んでいることは明らかです。

研究者たちは既に実証実験の中で成果を証明できたと述べていますが、まだ研究開発の段階です。ヘッドセッドに実装され、一般に流通する日が今から楽しみです。