Nvidiaは自動運転開発のためジェネレーティブAIを使います。NVIDIAはシアトルで開催された(CVPR)カンファレンスで優勝した。

昨年の勝利を基に、Hydra-MDPモデルで世界の400のエントリーを上回りました。
この技術は、産業環境、医療、ロボット工学、その他の分野にも適用できます。
「学習されたオープンループプロキシメトリクスを使用したエンドツーエンドの運転モデル」でCVPRのイノベーション賞を受賞しました。
さらに、NVIDIAは、あらゆる種類の完全に自律的なマシンの開発を加速するために、物理的に正確なセンサーシミュレーションを可能にする一連のマイクロサービスを発表しました。

エンドツーエンドの運転の仕組み

自動運転車を開発するレースは、スプリントでなく、終わりのないトライアスロンです。
AIトレーニング、シミュレーション、自動運転の3つが同時に動作しています。
それぞれが独自の加速コンピューティングプラットフォームを必要とします。、
モデルはまずNVIDIA DGXのAIスーパーコンピュータでAI訓練されます。
NVIDIA Omniverseで、NVIDIA OVXでシミュレーションテストされ、
車両に入る前に、NVIDIA DRIVE AGXでセンサーデータをリアルタイムで処理します。

複雑な物理的な世界を安全にナビゲートする自律システムは非常に困難です。
周囲の環境を認識し、理解し、ほんの数秒で正確で安全な決定を下す必要があります。
これには、潜在的に危険やまれなシナリオを処理する人間のような状況認識が必要です。

AVソフトウェア開発は、従来、オブジェクトの検出と追跡、軌道予測、パス計画と制御のための別々のコンポーネントを備えたモジュラーアプローチに基づいていました。

エンドツーエンドの自動運転システムは、
統一されたモデルを使用してこのプロセスを合理化し、
センサー入力を取り込み、
車両軌道を生成し、
過度に複雑なパイプラインを回避し、
現実世界のシナリオを処理するデータ駆動型のアプローチを提供します。

エンドツーエンド運転のためのCVPR自律グランドチャレンジの勝者であるHydra-MDPモデルに関するビデオで詳細が見れます。

グランドチャレンジをナビゲートする
今年のCVPRチャレンジは、センサーデータに基づいて運転軌道を生成するために、nuPlanデータセットを使用して訓練されたエンドツーエンドのAVモデルを開発するよう参加者に依頼しました。

モデルはオープンソースのNAVSIMシミュレータ内で提出され、まだ経験していない何千ものシナリオをナビゲートする任務を負っていました。
モデルのパフォーマンスは、安全性、乗客の快適性、および元の記録された軌道からの逸脱の指標に基づいて採点されました。

NVIDIA Researchの受賞したエンドツーエンドモデルは、カメラとライダーデータ、および車両の軌道履歴を取り込み、5秒間のポストセンサー入力で安全で最適な車両経路を生成します。

NVIDIA研究者が競争に勝つために使用したワークフローは、
NVIDIA Omniverseを使用して高忠実度のシミュレート環境で複製できます。
これは、AVシミュレーション開発者が現実世界でAVをテストする前に、物理的に正確な環境でワークフローを再現できることを意味します。

NVIDIA Omniverse Cloud Sensor RTXマイクロサービスは、今年後半に利用可能になる予定です。

さらに、NVIDIAは、言語で運転するためのCVPR自律グランドチャレンジへの提出で2位にランクされました。
NVIDIAのアプローチは、ビジョン言語モデルと自動運転システムを接続し、
大規模言語モデルで意思決定を支援し、一般化可能で説明可能な運転行動を実現します。

CVPRをもっと知る
自動車、ヘルスケア、ロボット工学などのトピックについて、今年のCVPRに50以上のNVIDIA論文が受理されました。
12以上の論文が、以下を含むNVIDIAの自動車関連の研究をカバーします。