Nvidia blog: NVIDIA AI EnterpriseでAIエージェントのセキュリティを強化し、展開を合理化
AIエージェントは、生産性を向上させ、イノベーションを加速させる最新の方法として台頭してきています。
これらのエージェントは、以前のAIアプリケーションよりも進化しており、タスクを自律的に推論し、他のツールに呼びかけ、
企業データと従業員の知識の両方を取り入れて、価値あるビジネス成果を生み出す能力を備えています。エージェントは、各組織のニーズに合わせてカスタマイズされたアプリケーションに組み込まれている。
NVIDIA AI Enterpriseの最新リリースには、AIエージェントの安全性、安定性、導入のしやすさを向上させるいくつかの新機能が含まれています。
AIエージェントパイプラインの管理の簡素化
新しく発表されたNVIDIA NIM Operatorは、Kubernetes上でAIパイプラインを展開するために使用されるNIMマイクロサービスの展開と管理を簡素化します。
NIM Operatorは、AIパイプラインのデプロイを自動化し、インテリジェントなモデルのプリキャッシングによる初期推論レイテンシの低減や高速なオートスケールなどの機能により、パフォーマンスを向上させます。
CPU、GPU、またはNIM最大リクエスト数、KVcacheなどのNIM固有のメトリクスに基づいてオートスケールを選択できます。
また、簡単なローリングアップグレードを提供することで、アップグレードプロセスを簡素化します。NIMマイクロサービスのバージョン番号を変更すると、NIM Operatorがクラスタ内のデプロイメントを更新します。
NVIDIAは現在、本番AIパイプライン用のNIMマイクロサービスをデプロイするために、以下のデプロイメントパスを提供しています：
Helm
KServe
NIM Operator
AIモデルのセキュリティとAPIの安定性
NVIDIA AI Enterpriseには、AIおよびデータサイエンスソフトウェアの毎月の機能ブランチリリースが含まれており、トップオブツリーのソフトウェアアップデートが含まれており、最新機能を求めるAI開発者に最適です。
このソフトウェアは、次のバージョンがリリースされるまで1ヶ月間NVIDIAによって保守され、各リリースの前に利用可能なセキュリティ修正が適用されます。
これは、最新の機能で最先端を維持したい顧客にとっては素晴らしいことですが、APIが月ごとに変更されないという保証はありません。このため、開発者はアップデート後にアプリケーションを調整する必要があり、長期にわたって安全性と信頼性の両方が求められる企業向けソリューションの構築が困難になる可能性があります。
このニーズに対応するため、NVIDIA AI EnterpriseにはAIソフトウェアのプロダクションブランチも含まれています。プロダクションブランチは、APIの安定性と定期的なセキュリティアップデートを保証し、安定性が必要な場合に本番環境でAIを展開するためのものです。プロダクションブランチは6ヶ月ごとにリリースされ、9ヶ月のライフサイクルがあります。
各プロダクション・ブランチの9ヶ月のライフサイクルを通じて、NVIDIAは重要かつ一般的な脆弱性と暴露（CVE）を継続的に監視し、毎月セキュリティ・パッチをリリースします。そうすることで、NVIDIA AI Enterpriseに含まれるAIフレームワーク、ライブラリ、モデル、ツールは、APIが壊れるリスクを排除しながら、セキュリティ修正のためにアップデートすることができます。
これらのNIMマイクロサービスがプロダクションブランチに追加される見込みだ：
MetaのLlama 3.1モデルファミリー：
Llama-3.1-Instruct-8B
Llama-3.1-Instruct-70B
Llama-3.1-Instruct-405B
Mistral AIのMistral 7BとMoE（Mixture of Expert）の8x7Bと8x22Bモデル：
ミストラル-8x7B
ミストラル-8x22B
ミストラル-7B
合成データ生成用のNVIDIA Nemotron-4-340Bモデル・ファミリー：
Nemotron-4-340B-Instruct
Nemotron-4-340B-Reward
NVIDIA NeMo Retriever QA E5 Embedding v5テキスト埋め込みモデル：
NV-EmbedQA-E5-v5
これらのマイクロサービスを使用してAIエージェントを構築することは、NVIDIAが、そのプロダクションブランチの存続期間中、アプリケーションの依存関係を壊すことなく、それらをセキュアにし、保守するという確信を持って行うことができます。
これらのNIMマイクロサービスは、すでにプロダクションブランチ上にある他の多数のAIライブラリとフレームワークに加わります：
PyTorch
TensorFlow
RAPIDS
NVIDIA TensorRT
NVIDIA Triton推論サーバー
NVIDIA Morpheus
NVIDIA Holoscan
このリリースで新たにプロダクションブランチに加わったその他のAIフレームワークには、以下のものがあります：
AIベースの動画・画像理解とマルチセンサー処理のためのDeepstream
グラフ・ニューラル・ネットワークをトレーニングするためのDGLとPyG
ヘルスケア向けAI
高度に規制された業界の顧客は、ソフトウェアをさらに長期間サポートする必要がある場合が多い。このようなお客様のために、NVIDIA AI Enterpriseには、3年間安定したAPIでサポートされる長期サポートブランチ（LTSB）も含まれています。
LTSB 1は、2021年のNVIDIA AI Enterpriseの最初のリリースと同時にリリースされ、基盤となるAIコンポーネントが含まれています：
PyTorch
TensorFlow
RAPIDS
TensorRT
Triton 推論サーバー
vGPUドライバなどのインフラソフトウェア
NVIDIA AI Enterpriseの最新リリースであるLTSB 2には、Holoscan SDKとHoloscan Deployment Stackを含むHoloscanが追加されている。
LTSBを備えたHoloscanプラットフォームは、医療機器以外の業界においても、AI対応センサー処理製品を構築するために産業グレードの生産対応プラットフォームが必要な場合、どこでも有効なソリューションとなる。
図は、月別の機能、生産、長期サポートブランチの関係を示しています。
図 1. NVIDIA AI Enterpriseのソフトウェアサポートブランチオプション
NIMマイクロサービスのより多くの展開方法
NVIDIA AI Enterprise は、オンプレミスとパブリッククラウドの両方でサポートされています。NIMマイクロサービスやその他のソフトウェアコンテナを、クラウドインスタンス上で動作する自己管理Kubernetesにデプロイすることもできますが、多くの場合、クラウドプロバイダーが管理するKubernetesを使用することを好みます。
Google Cloudは今回、NVIDIA NIMをGoogle Kubernetes Engineに統合し、最適化されたモデルをGoogle Cloud Marketplaceから直接デプロイするための簡素化されたパスを企業顧客に提供します。
可用性
NVIDIA AI Enterpriseの次期バージョンは、現在入手可能です。ライセンス所有者は、ほとんどのAIソフトウェアコンテナのプロダクションブランチ版をすぐにダウンロードできますが、NIMマイクロサービスは11月末にプロダクションブランチに追加される予定です。また、従来通り、応答時間の保証や、タイムリーな問題解決のためのNVIDIAエキスパートへのアクセスを含む、エンタープライズ・サポートのメリットも得られます。
詳細については、NVIDIA AI Enterprise Getting Startedをご覧ください。
#AIプラットフォーム#デプロイメント#ジェネレーティブAI#一般#|AIエンタープライズ#NIM#
Charu Chaubalについて
NVIDIAのエンタープライズ・コンピューティング・プラットフォーム・グループでプロダクト・マーケティングを担当。テクノロジー製品やサービスのマーケティング、顧客教育、プリセールスにおいて20年以上の経験を持つ。クラウド・コンピューティング、ハイパーコンバージド・インフラストラクチャ、ITセキュリティなど、さまざまな分野に携わってきた。VMwareでは、テクノロジー・マーケティング・リーダーとして、数十億ドル規模のビジネスに成長した数々の製品の立ち上げに貢献した。それ以前はサン・マイクロシステムズで、分散リソース管理とHPCインフラストラクチャ・ソフトウェア・ソリューションの設計に携わった。化学工学の博士号を持ち、複数の特許を取得している。