Apple Vision Pro と NVIDIA Omniverse の連携

Apple Vision Pro と NVIDIA Omniverse の連携
NVIDIA は、OpenUSD ベースのOmniverse エンタープライズデジタルツインを、Apple Vision Pro に提供しています。NVIDIA は、Omniverse Cloud APIを使って、産業用の3Dシーンを、グラフィックス対応のデータセンターにストリーミングし、高解像度のApple Vision Proに高品質な3D体験を配信できるソフトウェアフレームワークを開発しました。

デモでは、Vision Proを装着したデザイナーが、Omniverse プラットフォーム上で開発されたカーコンフィギュレーターアプリケーションを使って、塗装やトリムのオプションを切り替えたり、車内に入ったりするなど、物理的に正確なデジタルツインとのインタラクションを実演しました。

NVIDIA Omniverse、Apple Vision Proを使って世界を広げる
新しいOmniverse Cloud APIにより、開発者はインタラクティブな産業用デジタルツインをApple Vision Proにストリーミングできるようになります。

NVIDIAは、OpenUSDベースのOmniverseエンタープライズデジタルツインをApple Vision Proに導入します。

NVIDIA GTCで本日発表された、Omniverse Cloud API（アプリケーション・プログラミング・インターフェース）上に構築された新しいソフトウェアフレームワークにより、開発者は、コンテンツ作成アプリケーションから、高度な3D体験をApple Vision Proにストリーミングできるグラフィックス対応データセンターのグローバルネットワークであるNVIDIA Graphics Delivery Network（GDN）に、Universal Scene Description（OpenUSD）産業用シーンを簡単に送ることができます。

世界的なAI会議で発表されたデモで、NVIDIAは、Apple Vision Proの高解像度ディスプレイに忠実にストリーミングされた、インタラクティブで物理的に正確な自動車のデジタルツインを紹介しました。

デモでは、デザイナーがVision Proを装着し、CGIスタジオKatanaがOmniverseプラットフォーム上で開発したカーコンフィギュレーターアプリケーションを使用しています。デザイナーは、ペイントやトリムのオプションを選択し、車両に乗り込みます。3Dフォトリアリスティックな環境を物理的な世界と融合させることで、空間コンピューティングのパワーを活用しています。

RTXエンタープライズクラウドレンダリングのパワーを空間コンピューティングへ
空間コンピューティングは、人、製品、プロセス、物理空間間の没入体験やシームレスなインタラクションを実現する強力な技術として登場しました。産業エンタープライズのユースケースでは、製造体験を現実に忠実なものにするために、信じられないほどの高解像度ディスプレイと、高フレームレートで動作する強力なセンサーが必要です。

この新しいOmniverseベースのワークフローは、Apple Vision Proの画期的な高解像度ディスプレイとNVIDIAのパワフルなRTXクラウドレンダリングを組み合わせ、デバイスとインターネット接続だけで空間コンピューティング体験を提供します。

このクラウドベースのアプローチにより、リアルタイムの物理ベースのレンダリングをApple Vision Proにシームレスにストリーミングすることができ、膨大なエンジニアリング忠実度のデータセットのディテールを損なうことなく、忠実度の高いビジュアルを提供します。

「Apple Vision Proの画期的な超高解像度ディスプレイと、NVIDIAアクセラレーション・コンピューティングからストリーミングされるOpenUSDコンテンツのフォトリアリスティックなレンダリングを組み合わせることで、没入型体験を進化させる素晴らしい機会が開かれます。「空間コンピューティングは、デザイナーや開発者が魅力的なデジタルコンテンツを構築する方法を再定義し、創造性とエンゲージメントの新時代を牽引するでしょう。

「エヌビディアのシミュレーション担当副社長であるRev Lebaredianは、次のように述べています。「Apple Vision Proは、企業のお客様が妥協することなく仕事を実現することを可能にする、初めての紐なしデバイスです。「我々の顧客がこれらの素晴らしいツールにアクセスできることを楽しみにしています。

このワークフローでは、ハイブリッドレンダリングも導入されています。
ハイブリッドレンダリングは、デバイス上でローカルレンダリングとリモートレンダリングを組み合わせる画期的な技術です。ユーザーは、GDNからストリーミングされるOmniverse RTX Rendererを使って、AppleのネイティブSwiftUIとReality Kitから、1つのアプリケーションで完全にインタラクティブな体験をレンダリングすることができます。

130カ国以上で利用可能なNVIDIA GDNは、NVIDIAのグローバルなクラウド・トゥ・エッジ・ストリーミング・インフラストラクチャを活用し、スムーズで忠実度の高いインタラクティブ体験を提供します。重い計算タスクをGDNに移行することで、ユーザーは、データセットのサイズや複雑さに関係なく、最も要求の厳しいレンダリングのユースケースに取り組むことができます。

ユースケースを超えた空間コンピューティングワークロードの強化
Omniverseベースのワークフローは、幅広いユースケースに対応できる可能性を示しました。たとえば、デザイナーはこのテクノロジーを使って、品質やモデルのデシメーションが損なわれることなく、3Dデータを完全な忠実度で見ることができます。これは、デザイナーが、実際の物理的な製品のように見え、動作する、信頼できるシミュレーションと対話できることを意味します。これはまた、eコマース体験のための新しいチャネルと機会を開くことにもなります。

産業環境では、工場計画担当者は、エンジニアリング工場データセットの全容を表示し、対話することができます。これにより、ワークフローを最適化し、潜在的なボトルネックを特定することができます。

開発者や独立系ソフトウェアベンダーにとって、NVIDIAは、Apple Vision Proのネイティブツールを使って、アプリケーションの既存のデータとシームレスに対話できるようにする機能を構築しています。

シミュレーションは、自律性の訓練、テスト、配備に不可欠ですが、実世界に忠実なシミュレーションを実現することは非常に困難です。

そのためには、自律システムのセンサーや周囲の物理的挙動を正確にモデリングする必要があります。

本日NVIDIA GTCで発表されたOmniverse Cloud APIは、大規模で忠実度の高いセンサーシミュレーションを提供することで、この課題に対処するように設計されており、自律化への道を加速する態勢を整えています。このAPIは、シミュレーションツール、アプリケーション、センサーの豊富なエコシステムを統合します。

アプリケーション・プログラミング・インターフェースは、自律システムが遭遇する無数の実世界シナリオを安全に探索するための、高忠実度センサーシミュレーションの重要なニーズに対応します。
さらに、Omniverse Cloudプラットフォームは、強力なユニバーサルシーン記述（OpenUSD）、RTX、ジェネレーティブAI対応サービスレベルのクラウドAPIへのアクセスをアプリケーション開発者に提供し、次世代ツールに相互運用性と物理ベースのレンダリングをもたらします。

新たなレベルの安全性を引き出すシミュレーションの鍵
ロボット、AV、その他のAIシステムの需要が高まるにつれ、開発者はワークフローの高速化を求めています。センサーデータは、これらのシステムの知覚能力を強化し、リアルタイムで環境を理解し、情報に基づいた判断を下すことを可能にします。

従来、開発者はトレーニング、テスト、検証に実世界のデータを使用してきた。
しかし、これらの方法では、稀なシナリオや実世界で取得できないデータをカバーするには限界があります。センサーシミュレーションは、無数の「もしも」のシナリオや多様な環境条件を効果的にテストするシームレスな方法を提供します。

OmniverseクラウドAPIを使用することで、開発者はすでに使用しているワークフローを高忠実度のセンサーシミュレーションで強化し、フルスタックの自律性開発の課題に取り組むことができます。
これにより、開発プロセスが効率化されるだけでなく、自律型マシンを開発する事実上あらゆる規模の企業の参入障壁が低くなります。

エコシステムの優位性
シミュレーター、検証・妥当性確認（V&V）ツール、コンテンツ、センサー開発者の広範なエコシステムをまとめることで、Omniverse Cloud APIはAIシステム開発のための普遍的な環境を可能にします。

CARLA、MathWorks、MITRE、Foretellix、Voxel51などの開発者やソフトウェアベンダーは、自律走行車におけるこれらのAPIの幅広い魅力を強調しています。

CARLAは、10万人以上の開発者に利用されているオープンソースのAVシミュレータです。OmniverseクラウドAPIを使用することで、CARLAユーザーは、高忠実度のセンサーシミュレーションで既存のワークフローを強化することができます。

同様に、連邦政府資金による研究開発センターを運営し、テクノロジーの安全性向上に尽力する非営利団体であるMITREは、自動運転ソリューションを検証するためのAV業界向けDigital Proving Groundを構築している。DPGでは、OmniverseのAPIを使用して、開発者のためのコアセンサーシミュレーション機能を実現する予定です。

MathWorksとForetellixは、テストシナリオのオーサリング、実行、モニタリング、デバッグのための重要なシミュレーションツールを提供します。GTCのデモで示されたように、このようなシミュレーションおよびテスト自動化ツールとAPIを組み合わせることで、AV開発のための強力なテスト環境が形成されます。ショーフロアでは、Foretellixがブース630でこのソリューションを詳しく紹介している。

また、APIをVoxel51のFiftyOneプラットフォームと統合することで、開発者はシミュレーションで生成されたグラウンドトゥルースデータを簡単に可視化・整理し、合理的なトレーニングとテストを行うことができる。

産業用センサ・ソリューションの大手プロバイダーであるSICK AGは、物理的なプロトタイプの数を減らし、設計変更を迅速に反復し、最終的な性能を検証するために、センサ開発プロセスにこれらのAPIを統合することに取り組んでいます。これらの検証されたセンサーモデルは、最終的には自律システムの開発者がアプリケーションで使用することができる。

開発者はまた、ライダーメーカーのHesai、Innoviz Technologies、Luminar、MicroVision、Robosense、Seyond、視覚センサーのサプライヤーであるOMNIVISION、onsemi、Sony Semiconductor Solutions、レーダーのContinental、FORVIA HELLA、Arbeなど、さまざまなメーカーのセンサーモデルにもアクセスできる。

さらに、AI/ML開発者は、これらのAPIを呼び出して、大規模で多様な合成データセットを生成することができます。これは、これらの自律システムを強化する知覚モデルの訓練と検証に不可欠なインプットです。

開発者を強化し、イノベーションを加速する
NVIDIA Omniverse Cloud APIは、高忠実度のセンサーシミュレーションに対する従来の障壁を軽減することで、開発者がインフラの大幅なオーバーホールをすることなく、複雑なAIの問題に対処できるようにします。

高度なシミュレーションツールへのアクセスを民主化することで、開発者は最新の技術進歩に迅速に対応し、テストや開発プロセスに統合することができ、イノベーションの加速が約束されます。

Omniverse Cloud APIへの早期アクセスはこちらからお申し込みください。

NVIDIA Omniverseを始め、OpenUSDリソースにアクセスし、Omniverse Enterpriseがどのようにチームをつなぐことができるかを学んでください。Instagram、Medium、Twitterで最新情報をご覧ください。フォーラム、Discordサーバー、Twitch、YouTubeチャンネルでOmniverseコミュニティにご参加ください。