VRのための研究をしたい人へ 〜VR研究分野マップ〜
〜工事中です！ちょっと待ってね！〜
2021年4月くらいに新しいもっとちゃんとした記事を書きたい
※一年工事中状態を保持したたまま放置したら、直したいところがいっぱい見つかりました。随分と不完全な代物を作ってしまったなと思ってます…。今度絶対書くのでしばしお待ちください。
2022/5/25追記：稲見先生のnoteで言及されてしまったので、近日中に絶対ちゃんと更新する
どうも、ゆうのLv3（Twitter）です。東大で大学院生やってます。詳しい自己紹介は記事末尾に書いてあります。
VRに興味のある高校生、大学生に向けて、進路選択の一助となればと思って筆をとった次第。この記事では、VR技術の水平を押し広げてくれる日本のあなたへ、VRの研究分野のマップをお届けします。
あと、「研究分野は分かったけど、どこの大学に行ったらいいのだ！」という人のために、VRの研究をしている研究室がある大学を片っ端からリストアップしておきました。（絶対漏れがあるのでTwitterとかで教えてください）以下を参考にしてください。
VRの研究ができそうな大学片っ端からリスト
こちらも参考になります。
「VRの研究がしたいです！」
さて、
「VRの研究がしたいです！」
と一口に言っても、進路選択は捗りません。これは「日本の研究がしたいです！」といっているような感じで、焦点が定まっていないために着地ができません。日本の研究って……日本の文化？政治？風土？アニメ？歴史？なに？どれ？何がしたいの？ってなるような具合です。
進路選択にあたって、まずはVRを為すのに必要な要素を知り、自分はどの要素をどのように探求したいのか、自らの興味に問いかけてみましょう。
バーチャルリアリティとは
ソードアート・オンラインやレディ・プレイヤー１のようなSF的世界を憧憬するみなさん、こんにちは。まずは、バーチャルという概念がどういうものであるか、その感覚を獲得しましょう。別記事に分けたのでこちらをご覧ください。
VRの研究の分類
本記事ではVRの研究を、上の定義に従いつつ、AR・MRも包含して少し広く捉えていると思ってください。
VRの研究、いろんな分類の仕方があると思いますが、今回は「その研究がVRの構成要素のどこを担っているか」に注目して、8つに分類してみました。読者各位がどういう立場からVR研究に関わっていきたいのか考えたり、自身のVRに関するビジョンのために尽力すべき研究分野がどこなのかを俯瞰しやすいと思ったからです。結果的に、VRの教科書とも言えるバーチャルリアリティ学の各章に該当する格好になりました。8つの研究分野全部が頑張ることで、究極のディスプレイが実現するといった具合になります。
まず、VRシステムは大別すると
●人
●人とVR世界の間
●VR世界
の三つにエリアを分けることができます。ちなみにこれ、「バーチャルリアリティ学」ではそれぞれ２章、３章、４章に該当します。
●人と世界の間 は特に、
・出力システム
・入力システム
・人とコンピュータのインタラクション
に分けてみます。
さらに、この図の外側も研究エリアとして考えられますね。
システムの外側には実世界が広がっていて、そこには社会や産業（コンテンツ）があるわけです。当然これらとの関係を考える必要もあります。
●VRと実世界（ARやMR）
●VRとコンテンツ（他分野への応用）
●VRと社会
これらは、「バーチャルリアリティ学」ではそれぞれ５章、７章、８章に該当します。
本記事では、以下の目次に沿って分野を紹介していきます。
ーーーVRそのもの：高品質なVR体験を実現したいーーーーーー
●人
（１）人の感覚・認知
●人と世界の間
（２）出力システム
（３）入力システム
（４）ユーザインタフェース
●世界
（５）シミュレーションシステム
ーーーVRの外側へ：VRをどう使うか、社会への影響などーーー
●VRの外側
（６）VRと実世界（ARやMR）
（７）VRとコンテンツ（他分野への応用）
（８）VRと社会
もちろん、VRの研究は分野横断的に行われているために、これでは綺麗に分類ができない（素敵な）研究もたくさんあります。けどまあ、ざっくりとした研究分野のイメージを掴むため、ということで便宜的にこれで行きます。もっといい分類があったらコメントでアドバイスください。
ここからは（１）〜（８）のそれぞれで、どこまで実現しているのか、どのような研究が行われているのか、具体的な研究プロジェクトの例を添えて紹介していきます。
※ この記事では研究室ベースの紹介はしておらず、紹介する研究はあくまでも分野の一例として取り上げています。つまり（１）で紹介された研究室が（１）以外の研究も行っている場合が多々ありますし、ここには挙がって無い素敵な研究、研究室もたくさんあります。
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
（１）人
人が備えている感覚、知覚、認知それ自体の性質・機構を探求する分野。
VRと密接に関わる研究は、心理学で行われていることが多い。感覚器それ自体の性質を解明するのは生物学や医学でも行われる。VRのために人の感覚を探求する一方で、近年では逆に、VRを道具として使って人間の知覚や認知の性質を調べる研究も出てきている。
視覚や触覚など、五感をはじめとする知覚の研究、身体所有感、行為主体感、認知科学など。VR酔いの研究もここで良いかもしれない。そして脳科学。しかし、ソードアート・オンラインを夢見る人が気になるであろうこの分野は、まだまだ謎が深い。
別記事に分けたのでこちらをご覧ください。
（２）人と世界の間： 出力システム（ディスプレイ）
VRはヘッドマウントディスプレイだけじゃないよ。
人間の感覚センサ（五感や前庭感覚など）にどんな刺激を・どんな方法（どんなデバイス）で提示すればリアリティを作れるか？必ずしも原物の物理現象を正確にシミュレーションする必要はない。感覚のリアリティのみならず、デバイス装着の快適さ、生活に馴染むかどうかなども考える。また味覚や嗅覚などは、そもそもどのようにすれば感覚刺激をうまく提示できるのか、から研究する必要がある。
視覚・触覚・嗅覚などの五感提示デバイスの開発や電気刺激など。ブレインマシンインターフェース（BMI）もここに含まれる。
シンプルな装置で触覚を再現
空の箱やグラスの中に、まるで何かが入っているかのような感覚を提示する「Gravity Grabber」。実際には存在しない物体の重さや慣性質量の提示を、指先に装着するシンプルなデバイスで実現。
（慶應義塾大学大学院メディアデザイン研究科 南澤孝太先生 リンク）
触覚プロジェクター
超音波で空間の任意の位置に触覚刺激を生成。
（東京大学 篠田・牧野研究室 リンク）
精緻な触力覚提示デバイス
手に対する広範囲、高密度の触力覚提示を可能とする装着型ハプティックデバイス及びそのシステムの開発。
（電気通信大学 広田研究室 リンク）
網膜投影ディスプレイ
透過型ミラーデバイス（TMD）を転写光学系として用いて複数の集光点を目のレンズの位置に生成する新しい網膜投影手法。（取材記事）
（筑波大学 落合陽一 デジタルネイチャーグループ リンク）
嗅覚ディスプレイ
香りを人に提示する装置。香りの強さや質を時間的に変化させるなど。
（東京工業大学 中本研究室 リンク）
前庭電気刺激
前庭器官を電気刺激することで加速度の錯覚を感じさせる技術。ナビゲーション、加速度感覚の提示によるリアリティの増大や3D酔いの軽減などに応用可能。
（大阪大学 前田研究室 リンク）
歩行感覚の提示
足の筋肉の収縮リズムをシミュレーションして電気刺激を与えると、（実際は筋肉は動いていないのに）歩行時の筋肉の収縮感を人工的に生起できる。これを用いて着席したままで「歩いている感覚」を提示。
（首都大学東京 池井研究室 リンク）
BMIの研究
バーチャルリアリティという文脈での研究は少ないのが現状。そもそも脳科学自体がまだまだ発展途上です。みんなで頑張ろう。
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
（３）人と世界の間： 入力システム
人間や環境が発する情報（光や音、動き、声、生体データ、ボタン操作など）を、どのようにしてコンピュータに入力するのか。
逆に言えば、コンピュータが、どんなセンサでどのような処理をすれば世界を認識できるのか。
センシング、コンピュータビジョン、音声認識、ジェスチャー認識、視線追跡など
これら単体ではVRには見えないかもしれない。けれどVRシステムの構成に必要な研究である。みんな究極のVRの実現に向けて要素技術を研究している。
高速計測デバイスの開発
動画は「オレンジの球は無視、白の球だけをキャッチする」というデモ。高速、低遅延、小型、低電力なシステム開発の研究。
（東京大学 石川・妹尾研究室 リンク）
画像による3次元空間認識の高精度化
カメラの画像などから、カメラの物理空間における位置を推定する技術（SLAM）を、深層学習などによって高精度化。
（東京大学 相澤・山崎研究室 リンク）
ハンドトラッキング
手の動きやジェスチャーをいかに正確に、どのような手段で認識するか？という研究
（Facebook Reality Lab、元Oculus Reseach）
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
（４）人と世界の間： ユーザインタフェース
人間とコンピュータの関係にフォーカスした研究。コンピュータを用いることで、人間の生活や能力をどのように改善できるのか。人間はコンピュータとどのようなインタラクションができるのか。
人間拡張（ヒューマンオーグメンテーション）技術、ヒューマンコンピュータインタラクション（HCI）、ヒューマンインターフェースなど。
クロスモーダル
五感の相互作用をうまくデザインすることで、実際には起きていないことを感じることができる。例えば、実際には円状に周回して歩いているのに、壁を触りながらまっすぐ歩いている映像を見せることで、感覚的にまっすぐ歩いているように感じる「無限回廊」。
（東京大学 廣瀬・谷川・鳴海研究室 リンク）（まとめ記事）
感情の誘起
自分の顔を実際より笑顔に / 悲しい顔に変調して表示する鏡。鏡の中の自分につられて、ポジティブな / ネガティブな感情を誘起する。
（東京大学 廣瀬・谷川・鳴海研究室 リンク）（まとめ記事）
アバターの研究
自尊心の低い人は、アインシュタインのアバターを使うと、普通のアバターを使うより認知課題の成績があがる。（Banakou D, Kishore S and Slater M）
プロテウス効果を始めとして、アバターが人間の知覚・認知・行動にもたらす影響に関する研究があります。日本では、鳴海先生が「ゴーストエンジニアリング」という分野を提唱しています。
第三・第四の手
もしももう一つ腕があったら。人間はどうやってそれを操作するか、何がどの程度可能になるのか。
（東京大学 稲見・檜山研究室 リンク）
他人の視界にJackIn
他人の視界に入り込む、SF小説「ニューロマンサー」に登場する技術に着想を得た研究。
（東京大学 暦本研究室 リンク）
空中像とのインタラクション
（電気通信大学 小泉研究室 リンク）
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
（５）世界：シミュレーションシステム
システム全体
この辺の分類は難しいが「VRが利用できる環境を作る、あるいはVRによって環境を作る研究」というイメージで分けてみた。
コンピュータを取り巻くシステムにフォーカスした研究というか。
世界で初めてVRヘッドマウントディスプレイを作ったアイバン・サザランドは、「究極のディスプレイとは部屋である」と言った。その部屋では、椅子よ出ろと入力すれば物理的に座れる椅子が出現し、ジャングルに行きたいと思えばすぐさまあたり一面がジャングルの環境に変化するなど。
投影型没入ディスプレイ（CAVE）、実世界へのプロジェクションマッピングなど。
都市の大気環境シミュレーション
都市の大気流れ問題の3次元的構造を正確に把握
（中央大学 樫山・計算力学研究室 リンク）
実世界への高速プロジェクション
（東京大学 石川・妹尾研究室 リンク）
バーチャル空間における歩行の実現
（筑波大学 岩田・バーチャルリアリティ研究室 リンク）
さらにシステムの中でも、ソフトウェア、アルゴリズム、レンダリング、シミュレーションの部分を中心的に扱っている研究もあります。
コンピュータが世界をシミュレーションする方法（アルゴリズム、現象のモデル化など）を探求する。
自然現象、物理現象、生体のシミュレーションなど
これらも、単体ではVRとは言えないかもしれない。
けれど、シミュレーションの無いVRでは、光の反射、物体の摩擦や反発、音の干渉や回折、生き物の生態や風の流れ、心臓の活動など、様々な事象・物理現象がいいかげんな（考慮されていない）世界になってしまう。
音響シミュレーション
複雑な音響波動場の観測・伝送・変換・再生処理を統一的な数理で記述し、より高精度な音響波動場の再現理論を創出。
（東京大学 猿渡・小山研究室 リンク）
デジタルツイン・脳血液循環の四次元可視化シミュレーション
（東京大学 大学院医学系研究科 臨床情報工学 リンク）
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
（６）VRの外側：VRと実世界（ARやMR）
工事中
VRを道具として、それを他分野へ活用することを考えている人たち。
（７）VRの外側： VRとコンテンツ（他分野への応用）
工事中
（＊）VRという概念、存在を扱うもの、テクノロジー以外の文脈で行われる研究
（８）VRの外側：VRと社会
日本だとあまりないけど
● VRという概念、その分類に関する研究
● VRが文化や社会にもたらす影響
● 経済、法、政治、文学、エンタメなど
あたりの研究がここに入ってくるのかな。
VRではなくて、例えばビデオゲームの文脈ではテクノロジーではない部分も、色々と探求されている印象があります。ゲーム研究の手引きなるpdfを見つけたので以下に貼っておく。
補足
『赤（１）「出力システム」』や『黄緑（５）「ユーザとシステムのインターフェース」』あたりが、VRの研究としてよく目につく今日この頃、かもしれませんね。
逆に、『橙（２）入力システム』や『桃（３）シミュレーションシステム』は、それ単体ではバーチャルな体験を為さない要素技術に見え、VRの研究っぽくないかもしれません。けれどVRの実現に必要な研究です。
さあ進路選択だ
好きな分野が見つかったら、次は相性の良さそうな研究室や研究者を探そう。本当は研究者リストを作ろうと思ってこのノートを書き始めたんだけど、いつの間にか全く違うものになってしまった……。
作ってて、日本全国に面白い先生たちが散っているなあすごいなあとワクワクしました。みなさんが自分の本当にドキドキすることを見つけて、素敵なVRリサーチライフを送れることを祈ってます！
***
書いた人
ゆうのLv3 / Yuji Hatada（Twitter）
2015年より現在までMogua VR ライター & リサーチアシスタント。
2018年 東京大学 工学部 電子情報工学科卒業。同年より東京大学 大学院 学際情報学府 葛岡・雨宮・鳴海研究室 修士課程。2020年より同大学院 同研究室 博士課程。東大VRサークル「UT-virtual」所属。
VRに関して研究・制作・普及などあれこれ活動してます。趣味は作詞作曲です。
リンク
・個人Webページ
・Mogura VRで書いた記事
・Youtubeチャンネル
・前のブログ
お仕事ください
なんか面白そうな案件があったらください。
あと進路相談とかあったら受け付けます。ゆうのLv3（Twitter）まで連絡ください。日本のVR界が融けて普遍になるまで、VR界隈を存分に盛り上げて行きましょう！