FacebookがVRでアイコンタクトを可能に【#37】
今日のトピックは「Facebook Reality LabのVRに関する論文発表」について。技術的な詳細を省いて手短にまとめています。
昨日は「架空の映画に寄せられたアルバムのバーチャルライブ」について書きました。「スキ」やフォローも合わせてよろしくおねがいします！
―――――――――――――――――――――――――――
こんにちは、こんばんは。
VR/ARの会社を設立した大学院生(@iwhododo)です。
VRは注目の高い領域だけに、日々大量のニュースを目にします。
そこで毎日１つだけVRに関連したトピックを取り上げてお届けしています。
※ちなみに選定基準は100%の独断と偏見に基づきます。
毎日更新しているので、ぜひフォローしてチェックしてください。
この記事のまとめ
Facebook Reality Labが研究結果を公開
VR空間でのアイコンタクトで新しい手法(EEM)を提案
訓練データにない視線の制御も可能
VR上での対面インタラクションシステム
FacebookのVR/ARに関するR&Dセンター・Facebook Reality Labは、VR空間上でのアイコンタクトを実現する研究結果として「The Eyes Have It: An Integrated Eye and Face Model for Photorealistic Facial Animation」を発表し、この度ホームページにも掲載されました。
遠隔地での仕事、対人関係、エンターテイメントにおいて、大きな距離を隔てた人々とのインタラクションはこれまでも「テレプレゼンス」などのキーワードで研究されてきました。言うまでもなく新型コロナウイルス(COVID-19)の影響によって、重要度は増しています。
直接対面していない場合のインタラクションは、現在も既にZoomやTeamsに代表されるビデオ会議やVRを利用して実用化されています。
しかしながら、実際の会議のような勝手が効かない経験をしている人はご覧いただいている中でも多いでしょう。その原因にボディランゲージやアイコンタクトといった非言語コミュニケーションの欠如が挙げられます。
実際、MicrosoftはTeamsにおいてバーチャルな会議室や教室を再現する「Together mode」を実装予定です。
関連：オンラインとオフラインのハイブリッドな時代におすすめのコミュニケーションツールは何か？【#33】
―――――――――――――――――――――――――――
本研究では、実生活に近い没入感を得るために、アイコンタクトの再現に着目したシステム開発が行われました。VRにおける人間の視線を正確に追跡・再現するため、本研究では利用者それぞれをキャプチャしたリアルなモデルを利用しています。
関連研究と課題
顔と目のモデリング
これまでも顔のモデリング自体は歴史が長いものの、主に目に焦点を当てたアプローチはほとんどありませんでした。しかしながら、最近は、人間の目のための高品質なキャプチャシステムとモデルも開発事例があります。とはいえ、顔と目のいずれかについて制限がある場合が多い点が課題です。
VRでの顔と目のトラッキング
これまでにもアイコンタクトを実現するための研究は行われていました。
例えば、ニューラルネットワークを用いたディープラーニングで視線の動きを訓練した研究が挙げられています。
画像のサイズで視認しづらいかもしれませんが、従来のモデルは時と場合によって、(a) 訓練データにない新しい視線の向きに不気味な歪みやぼやけが発生、(b) 学習時に観測された距離以外では視線が収束しない、(c) 眼球表面のジオメトリ(データ群)が欠如している、(d) 頻度が低い視線の動きについても再現されないといった懸念がありました。訓練したデータについては正確に再現できるものの、実際には意図しない視線の動きが発生するものです。
本研究の特徴：視線による表情変化
本研究は、画像から抽出された特徴だけにフィッティングするのではなく、よりリアルさを実現するために、微分可能なレンダリングを用いて画像データをピクセルごとにマッチングさせ手、顔と目のモデルを訓練しています。
顔と目のモデルを分離してそれぞれ独立した制御が可能です。
この目の制御について、本研究では目の形状と動きをより良く捉える眼球モデル（EEM）が採用されています。これによって微分可能な逆レンダリングを用いてモデルを最適化し、メッシュとテクスチャが利用可能な幾何学的な監視を超えて観察画像を最適に説明できるようにしました。
さらに視線の変化が及ぼす変化をシミュレーションしてテクスチャを生成することによって顔の表情をよりよく表現できるようになっています。
詳細は割愛しますが、このモデルを従来の手法と比較して検証。
結果として、多く改良できた点があると記されています。被験者は少ないものの、定量的・定性的な結果ともに結果も良好です。
EEM(上)では、従来の手法(下)に比べて訓練していないデータも境界がはっきりとして視線がしっかり描写されている様子が確認できます。
本研究の課題と貢献
上述の通り、EEMでは訓練データにない新しい視線の方向に対しても機能しますが、視線の入力位置が不自然な場合はまり、視線の入力が物理的に実現可能でない場合）、結果として境界面が一致しない不具合が発生します。
また、他のリアルタイム通信システムと同様に、システムやネットワークの遅延があります。遅延の大きさによっては、かえって不自然な視線がコミュニケーションにぎこちなさが生まれてしまう要因になりえます。
加えて、本研究はあくまで利用者を再現したリアルなアバターに対して飲み有効な点が課題です。VRChatやその他VRサービス、ゲームで利用されるアバターに対してはまだ適用できません。
ただし、リアルタイムで駆動することができる顔と目のフォトリアルなモデルの形成と、アバターの視線方向を制御することができる点で大きく貢献しています。特に訓練データにはない視線に対しても、視線と表情の新しい組み合わせを生成する機能は、従来の手法から躍進したポイントでしょう。この研究は、実際に対面でなくとも没入感のある体験を実現するための礎となり、これからもさらに発展と改善が行われていくと期待しています。
―――――――――――――――――――――――――――
FacebookのVR戦略について
Facebookは傘下にVR HMDを販売するOculusや、「beat saber」などのVRゲーム会社を抱えるなど、VRに対して積極的な投資と事業を実践している世界有数の企業です。
※実際、本研究を発表した研究センター「Facebook Reality Lab」も元々は「Oculus Research」が発展・解消したものです。
そのFacebookのVRに対する全体的な方針は何でしょうか？
あくまで私見ですが、こちらのnoteに以前まとめてたものがあります。
今回の研究で実現する「没入感のあるコミュニケーション」も、この戦略を満足するものになっているので、ぜひ合わせてご覧ください。
World Maker Inc.について
World Maker Inc.ではAR・VRで新しい日常を探索していきます。
一緒に検証していただけるパートナーや開発メンバーを随時募集中です。
Twitterや会社ホームページから、お気軽にご連絡ください。
特に現在Unity/C#エンジニアを募集しています。学生も歓迎です。
明日も更新予定です！ぜひフォローしてマイペースにご覧ください。
過去のnoteはこちらにまとめています。
出典：Facebook Research "The Eyes Have It: An Integrated Eye and Face Model for Photorealistic Facial Animation"
会社のみんなとドーナツ食べます。