サイバーフィジカルの進化を支えるゲーミング・テクノロジー（a16z）
a16z（Andreessen Horowitz）が運営するポッドキャストのコンテンツを紹介します。（オリジナル・コンテンツ公開日：2024年12月25日）
ビデオゲームやデジタルゲームを支えるゲーミング・テクノロジーは、ハードウェアとソフトウェアの進化を背景に、エンターテインメントの枠を超えて新たな可能性を切り開いています。その応用は医療の手術シミュレーション、建設設計、自律型エージェント、ロボティクス、自動運転技術、防衛産業など、多岐にわたり進化を遂げており、さらには、ゲーミング分野以外のコンシューマー向けアプリケーションへの活用例も広がりつつあります。一方で、これらの普及にはいくつかの課題も存在します。特に、高品質なコンテンツ制作やユーザーデバイスの性能向上、そしてコストダウンが課題となっています。
そして、これら課題を背景として、AIによる3Dアセット生成やフォトグラメトリ技術、NeRFなどの技術によるコンテンツ制作の大幅な効率化が進み、また、BCI、ハプティック技術、アイトラッキングなど、多様なマン・マシン・インタフェースの進化が、仮想空間と現実空間の融合を加速しています。また、マルチエージェント・シミュレーションの高度化は、社会問題のシナリオ分析や危機対応、政策立案への応用が期待されています。
このa16zのポッドキャストでは、こうしたゲーミング・テクノロジーの進化がどのように社会実装され、現実世界に影響を与えているのか、その現在位置をコンパクトに紹介するものです。ご参考下さい。
1. ポッドキャスト
［トロイ・カーウィン］（a16z Games）
ゲームは本質的に仮想シミュレーションであり、これまでの数十年間は主に楽しさを追求してデザインされてきました。しかし、これからは、それが現実世界で幅広い用途に活用される場面が増えていくでしょう。たとえば、トレーニングや学習、開発現場、ロボットやその他の自律型システムの訓練環境、あるいは、人々がリアルタイムの3Dで物事を視覚化して確認できるようにするなど、あらゆる用途を目的として現実世界で使用されるようになるでしょう。
［ステフ・スミス］（a16z）
もしかして、他に見過ごされている例はないでしょうか。例えば、今は誰もがGPUを例に挙げますが、それ以外に何かあると思いますか？
［トロイ・カーウィン］
人々はよく忘れがちですが、NVIDIAはもともとゲーム会社でした。初期の売上のほとんどは、ゲーム用のグラフィックカードや画像やアニメーション、動画をレンダリングするのに優れた、計算量の多いマトリックス計算を処理するユニットから生まれていました。しかし、その後、これらの技術が仮想通貨のマイニングや現在のAI用途にももちろん有用であることが分かったのです。
［ステフ・スミス］
デジタルバイオロジーやアクセラレーテッド・コンピューティングのようなものが、今やあらゆるところで使われているように感じられますね。
［トロイ・カーウィン］
そうですね。NVIDIAの初期のウェブサイトを振り返ってみたところ、ヘッドラインには「未来は3D」と書かれていました。25年経った今、そのリアルタイム3D技術が現実世界と交差するまでの道のりが当初の期待よりも少し時間がかかったことはとても面白く感じます。
［ステフ・スミス］
そうですね。
［トロイ・カーウィン］
他のさまざまな業界についてですが、なぜ今が適切なタイミングだと思うのかについても少し触れてみます。振り返ってみると、90年代はインターネット上でのテキストが中心でした。2000年代は画像、2010年代は動画が主役でした。そして、2020年代については、我々はインタラクティブな3Dやゲーム・テクノロジーがエンタープライズ分野で活用される時代になると強く感じています。
［ステフ・スミス］
視点を少し広げて考えて、ゲームやゲーム業界から派生するテクノロジーがなぜイノベーションの源泉になるのでしょうか？
［トロイ・カーウィン］
ジェンスン・ファン自身が言っていたように、コンシューマ・ユーザーからの売上を研究開発の資金として活用し、今日の成果に至ったというのは興味深い点です。ゲーム・テクノロジーについて考える上で、これはとても示唆に富んでいます。ゲーム業界では、技術革新が常に歓迎されています。新しいプラットフォームや機能、あるいは新しいゲームデザインが生まれ、それがゲームを広げるための進化であれば、すぐに注目されます。プレイヤーも開発者も、ハッカー精神とも言えるような姿勢を持ち、これまでに大きなブレークスルーが数多く生まれてきましたし、これからもそのようなことが続いていくのは自然なことだと思います。
［ステフ・スミス］
そうですね。そうしたブレークスルーは、一見すると分からないこともあります。例えば、マルチプレイヤーという概念は昔からゲームに存在していましたが、それが本当に広く普及し、企業がそのアイデアをベースに構築されるまでには時間が必要でした。例えばFigmaのようなものが良い例です。そういう意味では、現在のゲーム業界でも、今は目立たないけれど10年後には他の分野でも活用されるであろうイノベーションがたくさん進行しています。では、そうした追い風となるビッグ・アイデアの3つについて話していきましょうか。
［トロイ・カーウィン］
以前、私はa16zに加わる前に、Unityで約5年間働いていて、さまざまな業界がリアルタイム3Dをどのように試し始めているのかを間近で見る機会がありました。例えば、建築家が設計段階で建物を実際に歩いているように視覚化し、建築が始まる前にエラーや不完全な部分を発見できるようにしたり、自動車メーカーが設計やバーチャルな試験運転にリアルタイム3Dを活用したりしています。現在では、例えば、RivianのヘッドアップディスプレイはUnreal Engineで動作していて、BMWのものはUnityを使用しています。また、重機の操作やその他の業務タスク向けのバーチャルトレーニングもあります。
ただし、こうした分野でリアルタイム3Dを活用する際に、ゲーム開発者が直面してきたものと同様のボトルネックが存在します。その1つがコンテンツ制作の課題です。ゲームスタジオでは、予算の半分以上がアセットやアート、コンテンツ制作に充てられていますが、非ゲーム分野でも同様です。しかし、これらの分野では3Dアーティストを抱えていない場合がほとんどです。ここでAIによるアセット生成技術、例えば画像、音声、そして今では3Dアセットが活用できるようになれば、こうした課題を大幅に解消できます。
さらにもう1つ重要なのが、3Dキャプチャ技術です。非ゲーム分野の多くの用途では、実際の物理的な世界をそのまま捉えたいというニーズがあり、現実世界をリアルタイム3Dに取り込むことが求められています。
［ステフ・スミス］
正しい形があるということでしょうか？
［トロイ・カーウィン］
そうですね、これまでもフォトグラメトリ（写真測量法）のような技術や、例えばMatterportのように360°画像を活用する技術が存在していました。ただ、それらはビデオゲームのように環境とインタラクティブにやり取りすることはできませんでした。
しかし、最近の技術、たとえば数年前に登場したNeRF（Neural Radiance Fields）や最近ではGAN Splatting（3D Gaussian Splatting）のような新しいRadiance Field技術によって、消費者がより効率的に環境をキャプチャできるようになりました。しかも、その結果得られるものはフォトリアリスティックで、非常にリアルな仕上がりになります。
［ステフ・スミス］
それらは即時にキャプチャできるものですよね？
［トロイ・カーウィン］
ええ、その通りです。そして、3つ目は、非ゲーム分野でのXR（拡張現実）の普及が大きなポイントになってくると思います。例えば、ヘッドセットを装着して、建設現場にBIM（Building Information Modeling）を重ねて確認したり、医療分野での手術シミュレーションのような活用ケースが挙げられます。これらの用途が更に広まるには、さらに優れたヘッドセットが必要ですが、軽量化や視線追跡などの革新的な技術を搭載したデバイスが登場すれば、大きな進展が期待できると思います。これら技術の進化が、このようなアプリケーションの可能性を解き放つ鍵になるでしょう。
［ステフ・スミス］
それら3つの追い風、コンテンツ制作、キャプチャ、そしてデバイスについて話していく中で、それぞれが独自のコストカーブを持っていると感じます。そして、どれもがそのコストカーブをかなりの速度で下っているように思えますが、それらの経済性についてお話しいただけますか？ 例えばゲームの話で触れられていましたが、コンテンツ制作に予算の半分が費やされるとはなされていました。それがどのくらい速度でコストダウンしているのですか？また、デバイスについても同じような変化が生まれているのですか？
［トロイ・カーウィン］
非ゲーム分野のユースケースでは、特にフォトリアリズムが重要視される場面があります。そのため、Unreal Engineや他の3Dエンジンのフォトリアリズム化が進化するにつれて、このような非ゲーム分野のユースケースが可能になってきました。一方で、BIMモデルのように、見た目のリアルさではなく実用性が重視される場合もあります。このようにアセットクラスが必要な基準を満たすようになると、コストが劇的に下がることがあります。
さらに重要なのは、特にバーチャルトレーニングのユースケースです。例えば、ロボットのメンテナンスや修理を学ぶためのトレーニングを想定してみてください。このような体験環境を構築し、バーチャル・シミュレーションの開発に資金を投入する必要があります。そして構築した後も、このシミュレーションの内容を更新したりコンテンツを追加したりする際には、初めにデジタルツインを開発した外部のエージェンシーに依頼しなければならない状況でした。しかし今後は、その作業をチームが自ら社内で行えるようになるでしょう。
［ステフ・スミス］
つまり、あなたが指摘しているのは、ものを作る1つ1つのコストが変化するというだけではなく、それが全体のシステムにどのように統合されているかも含まれている、ということですね。それはとても興味深いですね。では、アプリケーションについてですが、すでにいくつか触れられており、Andurilやテスラ、BMWと全く異なる会社を例に挙げられていました。また、従業員のトレーニングについても言及されていましたよね。それらのアプリケーションについて、もう少し詳しく教えてください。そのようなことは、あらゆるところで目にするようになるのでしょうか？
［トロイ・カーウィン］
これらのバーチャル・シミュレーションには、自律性（Autonomy）が深く根付いています。その良い例が軍事防衛テクノロジー企業のAndurilで、興味深いことに、Andurilが最初に買収した企業はゲームスタジオでした。
彼らがそのゲームスタジオを買収した理由は、そのスタジオが開発したゲームエンジンに興味を持ったからです。そして、その技術を戦略シミュレーションや自律性能にかかわるワークフローに活用しました。また、Applied Intuitionのような自律走行ソフトウェアを開発する企業を例に挙げると、必要なトレーニングデータを現実世界で収集するのは規模的に非現実的です。一方で、バーチャル・シミュレーションを利用すれば、データ量を増やせるだけでなく、現実ではほとんど経験できない、あるいは収集不可能な極端なデータや希少なデータも再現・取得できます。例えば、異常気象や千分の一の確率で起こる人為的な介入などが例として挙げられます。そして、こうしたテクノロジーを実際に社会実装するには、これら特殊なケースすべてを考慮する必要があります。
［ステフ・スミス］
先ほどApplied Intuitionについておっしゃったことを別の言い方をすると、大規模にシミュレーションする能力によって、これまでできなかった新しいことが実現できるということですよね。その他、派生するであろう可能性や二次・三次的な影響で、何か思い当たるものはありますか？
［トロイ・カーウィン］
これまでバーチャル・シミュレーションは、学習や人材育成のための物理的なトレーニング環境として利用されることが多くありました。ただし、これらは主に物理シミュレーションやハードスキルに焦点を当てたものでした。しかし現在では、ゲームの文脈で、AI NPC（non-player character）と呼ばれる技術が登場しています。これまでNPCはスクリプトによって動作が決まっていましたが、今ではこれらのエージェントは、自ら環境を観察し、推論や計画を立てて行動することができるようになっています。
例えば、マルチエージェント・シミュレーションを活用することで、次のパンデミック対応や移民政策が文明に与える影響を考えることができます。こうしたシミュレーションでは、エージェントたちが互いに影響を与え合うバーチャル環境でこれらのシナリオをテストしていくことになるでしょう。
［ステフ・スミス］
これまで挙げられたアプリケーションの多くは、例えばAndurilやテスラのような、どちらかというと企業向けのものでした。一方で、ゲームは元々コンシューマー向けの分野から始まっていますが、コンシューマー向けのアプリケーションもこれからさらに増えると思いますか？
［トロイ・カーウィン］
最近、引っ越したばかりで、新しい部屋のレイアウトを考えようとしたときに感じたことですが、いまだに方眼紙とペンを使ってシミュレーションしていました。同じように感じる方も多いのではないでしょうか。驚くのは、『The SIMs』のような3D環境で家具をドラッグ＆ドロップして配置を確認できる技術が25年前から存在しているにもかかわらず、それを直感的に使える素晴らしい体験環境を実現しているツールがまだないことです。
でも、本来ならばできるはずです。我々は空間をスキャンして、3D環境のデジタルツインを作ることができます。そして、Pinterestなどで見つけたデザイン・インスピレーションを提示すれば、それに最も近い家具やアート作品を見つけて配置することができると思います。その結果をバーチャル空間で歩いて確認したり、拡張現実を使って自分の部屋のサイズ感にどう合うかを見ることも可能になるはずです。
まさに3D版のWayfairのようなイメージです。消費者が自分の空間のデジタルツインをリアルに視覚化し、理想のインテリアを体験できる未来が実現することを期待しています。
［ステフ・スミス］
では、2025年を見据えてみましょう。これまでは、過去数十年で発明されたテクノロジーについて主に話してきました。しかし、明らかにこれから登場する新しいテクノロジーもあり、それらはまだ具体的なアプリケーションとして十分に確立されていないものも多いです。そういった新しいテクノロジーで注目しているものや、それがゲームと交差する可能性について、何か考えていることはありますか？
［トロイ・カーウィン］
HMI（Human Machine Interaction）の分野では、非常に興味深い研究や取り組みが進んでおり、さまざまなユースケースが想像できます。但し、多くの新興テクノロジーと同様に、最初の活用例はゲーム分野になる可能性が高いです。こうした企業は、NVIDIAのように、コンシューマーから得た売上を活用して研究開発を進める足掛かりを作るでしょう。
今年、Apple Vision Proがアイ・トラッキング技術で大きな進展を遂げたことは明らかですが、今後はBCI（Brain Computer Interface）技術が登場し、脳からのエネルギー信号を読み取って、仮想環境内でコンピュータを操作・対話することが可能になると考えられます。脳波だけでVR内のシーンと対話できる未来を想像すると非常に画期的です。
またその逆も可能です。指にリングを装着するだけでデジタルが生み出すタッチ感覚を体験できるテクノロジーがすでに存在しており、仮想世界での没入感を高める取り組みが進んでいます。ゲーマーにとっては、ゲームコントローラーの振動だけでなく、体全体にハプティック・フィードバックを感じられる完全な没入体験ができるというのは、夢のような話で、それが実現しつつあるのです。
2. オリジナル・コンテンツ
オリジナル・コンテンツは、以下リンクからご覧になれます。
尚、本投稿の内容は、参考訳です。また、意訳や省略、情報を補足したコンテンツを含んでいます。
a16z
（Original Published Data : 2024/12/25 EST）
【出演】
a16z Games
トロイ・カーウィン（Troy Kirwin）
Partner
a16z
ステフ・スミス（Steph Smith）
Podcast Host
＜御礼＞
最後までお読み頂きまして誠に有難うございます。
役に立ちましたら、スキ、フォロー頂けると大変喜び、モチベーションにもつながりますので、是非よろしくお願いいたします。
だうじょん
＜免責事項＞
本執筆内容は、執筆者個人の備忘録を情報提供のみを目的として公開するものであり、いかなる金融商品や個別株への投資勧誘や投資手法を推奨するものではありません。また、本執筆によって提供される情報は、個々の読者の方々にとって適切であるとは限らず、またその真実性、完全性、正確性、いかなる特定の目的への適時性について保証されるものではありません。 投資を行う際は、株式への投資は大きなリスクを伴うものであることをご認識の上、読者の皆様ご自身の判断と責任で投資なされるようお願い申し上げます。