AR100年史 ｜現実を拡張するテクノロジーの誕生と成長を紐解く
今回はAR (拡張現実感) の歴史を振り返る記事になります。
「Weekly AR Review」という形で毎週のARを追いかけていますが、今回はレンジを広げて、ARの100年にわたる歴史を紐解きます！
1901年の小説『The Master Key』から始まり、Magic Leap One、HoloLens、ARKitの誕生までの展望を振り返ってみます。
長文になってしまいましたが、最後までお付き合い頂けると幸いです。
ARの概念の誕生
ARの概念の誕生は1901年に遡ります。
小説家ライマン・フランク・ボーム(L. Frank Baum)が自身の小説「The Master Key: An Electrical Fairy Tale」の中で、現実の世界にデジタルを重ね合わせる電子ディスプレイの概念を提唱したことが始まりとされています。
物語の中で主人公に与えられた贈り物の一つ『character marker』は、装着することで文字として他人の性格・性質を見ることが出来るというものでした。例えば、善人には「G」、悪人には「E」、賢者には「W」、愚者には「F」といった文字が現れます。
Source：Amazon
ボーム氏が提唱したこの装置は、デバイスを通してリアルに付加的な情報を加えるという点で「ARの概念の誕生」と言えるでしょう。
しかし、ボーム氏がこの概念を提唱してから、ARが現実になるまで、半世紀以上を待つことになりました。
近代ARの起源
デジタルオブジェクトの表示を必要とするARにとって、最初の関門はやはり専用デバイスの開発でした。戦後、コンピュータグラフィックスの進歩により、その問題に対し取り組みがなされていきます。
1968年、ハーバード大学教授であり計算機科学者であったアイバン・サザランド(Ivan Edward Sutherland)氏が教え子ボブ・スプロール(Bob Sproull)氏と共に、仮想現実を創り出すヘッドマウントディスプレイ・システム『The Sword of Damocles』 を開発します。
Source：ResearchGate
このデバイスを装着することで、ユーザーはコンピュータグラフィックで作られた環境で仮想体験を得ることができることができました。
しかしこのデバイスは、重すぎたため、天井から吊り下げる必要があり、仮想空間内で作り出せるものはシンプルな線のみで構成されるものに限られていました。
それでも、サザランド氏の『The Sword of Damocles』は、仮想体験を演出する装置として、近代ARにおける”始まり”を意味していたと考えられます。
”AR”が生まれる前夜
アイバン・サザランド氏に続いて登場したのがマイロン・クリューガー(Myron Krueger)氏です。
ウィスコンシン大学でコンピュータ・サイエンスのPh.Dを取得した彼はコンピューターによるインタラクティブ空間に初めて注目したアーティストでもあります。
1973年に「人工現実（artificial reality）」の概念を提唱し、1974年から1978年までの間、母校ウィスコンシン大学からのサポートを受けつつ、仮想現実を創り出すシステム『VIDEOPLACE』を開発していました。これは画像解析による人の動作のセンシング技術によるものでした。
Source：ResearchGate
このシステムは、プロジェクタ、カメラ、そして特殊なハードウェアを使い、スクリーン上にインタラクティブな仮想環境を創り出すというものです。ユーザーは影として環境に投影されており、ある程度の没入感のある体験を演出することができました。
クリューガー氏のこの研究は、彼の集大成とも言うべき本「Artificial Reality」にまとめられています。初版は1983年、そして1991年に「Artificial Reality II」として出版されます。
ただし、ARといえども「Artificial Reality」は実質的にVRに近いものであり、クリューガー氏の『VIDEOPLACE』も現在はVRに分類されます。このときはまだ「Augmented Reality」という単語は使われてはおらず、もしかすると存在すらしていなかったのかもしれません。
また、1980年にはカナダ人の発明家でありIEEEの創設メンバーであるスティーブ・マン(Steve Mann)氏により、世界初のウェアラブル・コンピュータ・ビジョンシステムが開発されました。
スティーブ・マン氏は"the Father of Wearable Computing"とも呼ばれている人物で、ウェアラブルコンピュータの発展および初期のARデバイス開発において重要な役割をはたしました。
マン氏が考案したものが、テキストやグラフィックをphotographically mediated reality（写真媒体現実）として投影するデバイスです。カメラを通して人間が持つデバイスの動きを認識し、その動きを投影するものでした。驚くべきことにMann氏はこのプロトタイプを高校生のときに発明しています。
人と仮想オブジェクトとのインタラクションによる、ARの没入感の研究はこの頃から盛んになっていきます。
ARの二度目の誕生
クリューガー氏の研究対象のARはあくまでも人工現実（artificial reality）でした。そして、1980年代頃までは、現在でいうAR/VRの分類はなかったのかもしれません。
私達が知るAR(Augmented Reality)は、1990年のトム・コーデル(Tom Caudell)氏がそう名付けたことに始まります。当時ボーイング社の研究員であったコーデル氏はケーブル作業の支援ツールとしてARの開発を行っていました。
事象は名付けられて始めて認識可能な事象として成立します。
ということは、コーデル氏によってARはAugmented Realityとして「二度目の誕生」を迎えたと言えるでしょう。
＊その前年の1989年にアメリカの科学者Jaron Lanier氏が「Virtual Reality（VR）」という言葉を生み出しています。
急速に進化するAR
1990年代は、ITによる効率化の広まりとともに、ARが急成長を遂げた時期でした。この背景にはロボットによる自動化の社会的風潮もあり、職場環境の効率化のために研究が盛んに行われていたことがあったようです。
1992年にアメリカ空軍アームストロング研究所にて、世界初の操作可能なARシステム『Virtual Fixtures』が航空機の操作能力向上のために開発されました。
Source：earthware
このシステムには現在のARが持つほとんどの基本機能を持っているとされており、『the first fully immersive Augmented Reality system』と呼ばれています。
また、1993年にコロンビア大学のスティーブン・フェイナー(Steven K. Feiner)教授がレーザープリンターのメンテナンスのサポートを行うARシステムを発表しています。
Source：Pinterest
『KARMA（Knowledge-based Augmented Reality for Maintenance Assistance）』と呼ばれたこのシステムは、HMDを装着することで、超音波センサーにより検知したレーザープリンターの内部構造情報や修理が必要な箇所がコンピュータグラフィックで表示することができました。
ただし、このシステムには超音波センサをすべての対象物に取り付ける必要があるという問題があり、実用化にはいたりませんでした。
それでもARによる業務サポートシステム（KARMA）は業務用ARのコンセプトとして今も受け継がれています。
1994年にはジュリー・マーティン(Julie Martin)氏により史上初の’AR劇場作品’が制作されました。
Source：Sutori
“Dancing in Cyberspace”と名付けられたこの作品では、ダンサーやアクロバットを行う出演者が舞台上でリアルタイムでバーチャルオブジェクトとパフォーマンスを行っていました。このシステムにはシリコングラフィックスのコンピュータとPOLHEMUS社製の計測システムが使われていました。
1998年、ARはスポーツ業界にも姿を表します。NFLやNBAに映像技術を提供するSportsvisionが『1st & Ten Graphic System』を導入した年でもありました。
Source：Wikiwand
このシステムはアメリカンフットボールのテレビ中継の際に、実際のプレーを映しつつ、フィールドのラインを可視化することで視聴をサポートする仕組みです。
テレビという媒体を通して、ARが導入されたユースケースとなり、その後、アメリカンフットボールのテレビ中継においてなくてはならないものになりました。
そして1999年、NASAは当時開発をしていた乗員帰還機X-38 spacecraftにARの導入を試みます。この機体には飛行中のナビゲーションを視覚的にサポートする装置”Hybrid Synthetic Vision System”が搭載されていました。
Source：Sutori
1990年代はARがテクノロジーとして急成長し、様々な分野での活用が検討されました。そのうちのいくつかは実際に導入され、現在にも受け継がれています。
体系化されゆくAR
1990年に入り、徐々に仮想現実技術に関する研究・知識が体系化されて行きます。この頃、仮想現実技術の研究は複雑性を増していき、正確で明確な専門用語が研究のフレームワーク化のために求められていました。
1994年に書かれた、トロント大学のポール・ミルグラム(Paul Milgram)氏と大阪大学の岸野文郎氏による論文「A Taxonomy of Mixed Reality Visual Displays」の中では、『Virtual-Reality Continuum』と呼ばれる分類方法が提案されています。
総合的に仮想現実技術をMixed Reality(複合現実)と呼び、そのなかでリアルとバーチャルの割合をもとに4つの区分に分けられました。
現実 (Real Environment)
拡張現実 (Augmented Reality)
拡張仮想 (Augmented Virtuality)
仮想現実 (Virtual Environment)
この論文により、それぞれの技術の特性やデバイスの特性により分類され、ARがその他の仮想現実と関連付けられて体系化されました。
そして2001年に書かれた論文「Recent advances in augmented reality」の中では、ARにおける必須要素が提案されています。
1. 現実の環境でリアルオブジェクトと仮想オブジェクトが存在する。
2. リアルタイムでかつ、インタラクティブに作用する。
3. リアルオブジェクトと仮想オブジェクトが相互に認識されている。
というように、2000年頃にはARは体系化されていった時期でもあります。
その一方で、定義付けがしっかりと行われたことにより、問題点も洗い出され、必要な要素技術が判明していきます。
日本人がもたらしたAR革命
1999年はARの歴史において非常に重要な年となりました。
AR アプリケーションを実現するためのライブラリ『ARToolKit』が、当時ワシントン大学HITラボ滞在中だった奈良先端科学技術大学院大学の加藤博一教授によって高度技術の研究用のC言語ライブラリとして開発されます。
1990年代にAR技術を用いたアプリケーションを制作するためには、高価な位置姿勢計測装置が必要でしたが、加藤教授が生み出したARTookKitはその常識を覆すものでした。
当時、加藤教授は幾何学的整合性を重視した正方形平面マーカーの位置姿勢計測および複数マーカーの計測の手法を研究していました。そうして生まれたARToolKitは、「単眼カメラ」と「平面マーカー」のみを使って実装するARアプリケーションの開発を可能にしただけでなく、AR技術をより容易に使うことを可能にしました。
加藤教授のこの研究は、IEEEに投稿された加藤教授の論文「Marker Tracking and HMD Calibration for a Video-Based Augmented Reality Conferencing System (1999)」にまとめられています。
ARToolKitの登場は『ARの普及の狼煙』でした。
2000年代に入ると、AR技術を扱うコストが低下したことにより、日常の場面でARが導入され、多くの人がその存在に気づき始めることになります。
新しいゲームの芽生え
2000年にブルース・トーマス(Bruce H. Thomas)氏率いる南オーストラリア大学のWearable Computer Labによって、3Dゲーム「Quake」に拡張現実機能が加えられました。これは『ARQuake』と呼ばれ、コンピュータが生成するゲームを現実の物理的な空間に重ね合せたファーストパーソン・シューティングゲームを体験することができるものでした。
Source：Communications of the ACM
野外での体験も視野に入れて開発され、「世界で最初の屋外で実際にプレーすることのできる拡張現実ゲーム」と呼ばれています。
ただし、このゲームは研究室の試作機としてのみ開発されたようです。
現在でも続けられている、野外使用を見据えたARの研究はこのころから行われていました。
広告に革命を
2000年に入り、スマホを始めとする携帯端末の性能の向上に比例するように、ARは一般に広まるようになります。
2009年、アメリカの男性誌Esquire magazinでARを使ったプロモーションが導入されました。
ロバートダウニーJr氏を起用したこのプロモーションでは、雑誌のページに載っているQRコードをスキャンすることで、ARコンテンツがスクリーン上に現れるというものでした。
スマートフォンが普及する前であるため、体験者はPCを用意し、そのインカメラを使って、マーカー認識を行っていました。
また、同年にARToolKitがFLARToolkitとしてAdobe Flashに移植されたことで、ARToolKitはインターネットブラウザにも対応を開始します。
ロケーションベースARの誕生
2008年、『Wikitude』がオーストラリアのWikitude GmbH社により携帯端末用の拡張現実ソフトウェアとしリリースされました。
Wikitudeは、モバイルカメラと各種センサーから得た情報を使い画像認識を可能にし、リアルに様々な情報を加えるアプリを開発させる環境を提供するもので、「拡張現実を活用した初の公的な位置情報アプリケーション」とも呼ばれています。この位置情報はGPSやWi-Fi、顔の方角（方位磁針を使用）、そして加速度計などから算出されました。
この技術を使った位置情報アプリ『セカイカメラ』が翌2009年に日本でヒットします。
頓智ドット社により開発されたこのアプリは、GPS機能を使って現実空間にある『エアタグ』という情報のARを表示します。アプリリリースの2009年9月24日から4日後には、セカイカメラのダウンロード数は10万を超え、2014年のサービス終了までに300万ダウンロードを超えました。
Source：Tech:Note
ARゲームの夜明け
2007年、ソニー･コンピュータエンタテインメントからARを活用したゲームが登場しました。
カードゲームとテレビゲームを取り込んだPS3用ゲーム『THE EYE OF JUDGMENT』は、「サイバーコード」と呼ばれる2次元バーコード付きのカードを専用のUSBカメラ「PLAYSTATION Eye」が読み取ることで、画面上に映ったカードにリアルタイムで3Dキャラクターが出現する仕様になっていました。
Source：Playstation
グラス型ARの挑戦
2013年にGoogleが当時開発中であった『Google Glass』を発表したことを皮切りに、グラス型ARの挑戦が幕を開けることになります。
Source：engadget
「Google Glass」は研究開発プロジェクト『Project Glass』で開発していたHMD方式の拡張現実ウェアラブルコンピュータです。早期導入プログラム「Glassエクスプローラープログラム」も展開され世界的に注目を集めることになりました。
Google Glassの挑戦は、コンピュータが私達の日常に溶け込む『ユビキタス・コンピューティング』への挑戦でもありました。デバイスを手に持つ必要がないハンズフリーかつ、スタンドアローン型として開発されたGoogle Glassはコンピュータの新しい形として期待されました。
しかし、技術的問題と社会的問題の両側面から一般消費者向けの販売は中止になってしまいます。その後は主にB2B製品として開発が続けられています。
Magic Leapの参戦
医療器具を販売するアメリカの企業MAKO Surgical Corp.の創設者であるロニー・アボヴィッツ(Rony Abovitz)氏により、2010年に新しいAR企業が作られます。それがMagic Leap社です。
秘密主義のためそれまでほとんどニュースがなかったMagic Leap社ですが、2014年にRouterが報じた一本のニュースが話題になりました。
2014年、Magic Leap社はまず約5000万ドルの投資を受けました。それを皮切りに、Qualcomm社やアメリカの投資会社Andreessen Horowitz、そしてGoogle等の著名な有名人・投資家が投資をしていることを明らかになります。Magic Leap社への投資増え続け、2014年の間に5億ドルを超えます
しかし、この状況下でもMagic Leap社は自社の製品をリリースせず、ARHMDを開発していることのみを伝えていました。
得られた情報といえば、2014年に申請され、2015年に取得した特許と2015年にYoutubeにアップされた1分の動画のみ。
それでも多くの人がMagic Leap社がもたらすであろうARのブレイクスルーを期待していました。そのことを裏付けるように、2016年には投資金額は14億ドル近くに達します。
2017年の年末にようやく、Magic Leap社のプロダクトの全貌が明らかになります。
Magic Leap社の最初のプロダクト「Magic Leap One」は開発者向けとして販売が予定され、2018年8月からアメリカで2,295ドルで販売が開始されました。
Magic Leap社は、自社のプロダクトコンセプトを説明する際に、「AR」という単語を使わず『Spatial Computing』という単語を使用しています。
Magic Leap社はSpatial Computingを以下のように定義しています。
Spatial computing is digital technology that interacts with us in the places we live, work and play.
その一方で、ARを「Digital content on top of your real world」と定義しており、Magic Leap社が唱えるSpatial Computingは「デジタルとのインタラクション」を重視したものと考えられます。これはMR（Mixed Reality）と同様、ARの次の形として認識されるようになると思われます。
また、Magic Leapは『Magicverse』と呼ばれる独自の現実世界のデジタルコピー理論、いわゆるメタバース理論を持っており、その実現に向かって動いています。
Microsoftの参戦
2016年、MicrosoftがHoloLensの販売を開始しました。
Source：Microsoft News
HoloLensはMicrosoft社が『Project Baraboo』の名前で進めていたWindowsプラットフォーム用のHMD開発プロジェクトで開発されました。
スタンドアローン型ARデバイスとして開発がされていたHoloLensは、2015年の発表から注目を集めていました。実際の販売は2016年3月からアメリカとカナダで開始し、同年10月からオーストラリアやイギリス・フランスを含む一部のヨーロッパ諸国で販売が始まりました。
高精度の音声認識やハンドジェスチャでの操作を兼ね備え、MicrosoftのセンサーKinectと接続することでより複雑なARの体験を実現することができます。
ただし、重さや装着感、そしてその価格から、作業効率の向上などB2Bの用途で活用されることが多かったようです。
Source：テクニカルクリエイター
Magic Leap社が「Spatial Computing」という単語を使ったように、Microsoftは『Mixed Reality（MR）』という単語を使い、HoloLensを紹介しています。
Nianticの快進
2010年に後に世界的に楽しまれるゲームを開発するアメリカのスタートアップ、Googleの社内スタートアップとしてNiantic Labs社が創設されました。
Niantic Labの創設者ジョン・ハンケ（John Hanke）氏は、もともとGoogleに買収された地理ソフト「Keyhole」の開発やGoogleストリートビューやGoogleマップの開発に関わっていたことで知られており、Niantic社のアプリの多くもロケーションベースのものとなっています。
Niantic Lab社は2012年9月に初のアプリ『Field Trip』をリリースします。
このアプリはオススメの場所や位置情報を表示するものでした。
Source：Niantic
同年11月には陣取りゲームアプリ『Ingress』をローンチし、Niantic社の名前は世界的に広まることになります。
最初は招待制のゲームとして参加者が限られていましたが、次第に窓口を広げていき、2013年12月にAndroidアプリとして公式運用が開始されることになります。
2015年にGoogleから独立し、社名もNiantic社に変更されました。
その後Google、任天堂、ポケモンより最大3,000万ドルの投資を受けました。そして、2016年7月、 オーストラリア、ニュージーランド、アメリカでPokémon GOがサービス開始されることになります。
Pokémon GOは既にモバイルゲームとしての売上・ダウンロード数など5つのギネス記録を獲得しています。
誤解をしやすいのですが、Niantic社はARゲームアプリを作っている企業というだけではありません。
Niantic社は「地球規模のAR」の実現をミッションとしており、『Niantic リアルワールドプラットフォーム』の構築を目指しています。Magic Leap社のMagicverse同様、現実世界と紐付けられたARがこれからのARの姿なのかもしれません。
Niantic は、現在と未来の AR ハードウェア世代に向けて、世界で唯一の地球規模の AR プラットフォームを構築しています。
Appleの参入
2017年に行われたApple社が毎年開催している開発者向けイベント「WWDC17」にて、AR史に燦然と輝くARプラットフォームが発表されました。『ARKit』です。
これは、Apple社が提供するARのSDKであり、iOS端末向けのARアプリ開発が簡単にできるようにするものです。主にiOSデバイスのカメラとモーションセンサーから得た情報を元に、空間にARオブジェクトを表示・配置することを可能にします。
ARKitにより、ARがエンターテイメントのツールや日常生活を改善するものとして広く認知されるようになります。例えば、ARKitを使った家具の配置アプリ等もその一例です。
ARKitはその後、ARKit2、ARKit3としてアップデートされ、その機能を拡張しています。
また、ARKitとよく比較されるGoogle社が開発しているARSDK『ARCore』がARkitのリリースの翌年2018年3月にリリースされました。
そして、その後、ゲームエンジンUnity上でAR KitとAR Coreの両方を利用可能にするARの統合プラットフォーム『AR Foundation』がUnity社によって開発されました。
そのおかげか、Unityの柔軟な対応のおかげか、現在UnityはAR開発のスタンダードになっています。
終わりに
小説の中で生まれ、研究室で育てられた拡張現実技術は、これから社会に放たれ、実装されようとしています。それはつまり、ARが科学史ではなく人類史へ組み込まれることを意味していると考えられます。
今、これまで紡がれててきたARの歴史を紐解くことで、ARが日常に溶け込む意味が見えてくるかもしれません。
AR100年史 ｜ 現実を拡張するテクノロジーの誕生と成長を紐解く
僕が所属しているMESONでは、このARの歴史に次の1ページを一緒に作ってくれる仲間を募集しています！興味がある人は気軽にご連絡ください！
それから僕のTwitterをフォローしてくれると嬉しいです！