正式発表されたインテルのAIアクセラレーター「Gaudi 3」：推論とファインチューニングに最適化
昨今の業績および株価の低迷から、クアルコム（QCOM）の買収話や規制当局のハードルの話、一方で、アポロ・グローバル・マネジメント（APO）では50億ドル規模の出資が検討されているなどのニュースが飛び交い、マーケットを賑わせているインテルですが、そのような状況下で昨日、同社から「Xeon 6 Pコア」と「Gaudi 3」という2つの新製品の発表がありました。
「Xeon 6 Pコア」は新たなコアを搭載したCPUであり、「Gaudi 3」については、4月に開催された「Intel Vision 2024」カンファレンスで既に発表されていたAIアクセラレーターですが、ここに来てあらためて新製品として正式発表されました。
プロダクト的に注目されるのは、やはり「Gaudi 3」ですが、性能ベンチマークの対象がNVIDIA H100で、性能的には、2世代前を追っている状況の模様ながら、利用用途としては、「推論」と「ファインチューニング」として、います。また、Xeonと組み合わせてのRAGベースのアプリケーション構築用のソフトウェア・エコシステム「AI for Enterprise RAG」も同時に発表しています。
この投稿では、上記2つのプロダクトを紹介するインテルのプロモーション・ビデオを参考訳で紹介するものです。尚、プロダクトの詳細スペックについては、別サイト（↓）をご参照ください。
（1）インテルの戦略
IntelのエンタープライズAI製品とソリューションにとって、非常にエキサイティングな瞬間を迎えています。これからのセッションに入る前に、私たちの戦略について説明させてください。戦略の「何をするか」だけでなく、「なぜそれをするか」をお伝えしたいと思います。私はこれまで多くの時間をかけて、お客様と一緒にポートフォリオを検討し、ロードマップや全体的な戦略を詳しく見直してきました。長期的かつ持続可能な成長を目指すための変更を行っており、その中心にはホストCPUであるXeonと、Gaudi AIアクセラレーターによるAI向けのアクセラレーテッド・コンピューティングがあります。この共通の使命と未来にとてもワクワクしています。
AIの導入はまだ初期段階ですが、データはエンタープライズがより広範な採用と成長を牽引することを示しています。しかし、必要とされるコンピュートは、可用性、パフォーマンス、コスト、エネルギー効率、そしてセキュリティに注目を集めています。これらは、今日の企業にとって重要な要素です。
これらの課題に対応するために、私たちはx86と同様に、ハードウェアからネットワーキングやインターコネクト技術、さらにはソフトウェアスタック全体に至るまで、オープンなエコシステムを構築しています。オープンなフレームワークやモデルを通じて、エコシステムを拡大しています。
私たちは、導入の経済性を確保するAIシステムの提供に注力しており、ワットあたりのパフォーマンスを最大化することで効率を高め、オープンソースモデルに最適化しています。これにより、エンタープライズエコシステムがAIアプリケーションをより迅速に展開できるよう、オープンソースのアプローチを推進しています。
本日は、「Xeon 6 Pコア」と「Gaudi 3」に関する発表についてもお話できることを楽しみにしています。IntelのXeonプロセッサは、AIワークロードに最適なCPUヘッドノードであり、Intel Gaudi AIアクセラレーターとシームレスに連携します。これらのアクセラレーターは、生成AIワークロードに特化して設計されています。この2つのプラットフォームを組み合わせることで、既存のインフラストラクチャにスムーズに統合できる強力なソリューションを提供します。
※ Pコア ・・・ Performance Core
私たちは、Intel Xeon 6のパフォーマンスコアを通じて、エンタープライズが重視するさまざまな課題に対応しています。Xeon 6は、AIや高性能コンピューティング、データベースアプリケーションなどのコンピュート集約型ワークロードにおいて、飛躍的なパフォーマンス向上を実現します。これを高い電力効率で提供し、Intelの信頼されたドメイン拡張機能（trusted domain extensions）による最新の機密コンピューティング機能（confidential computing features）も継続して提供しています。また、Xeon 6のPコアは、AIヘッドノードに最適なCPUです。96コア、PCIe Gen 5のサポート、そして最先端のDRAM技術を統合できる能力を備えており、大規模な生成AIトレーニングクラスターを構築できます。私たちのアクセラレーター・ポートフォリオと、システムレベルでの最適化への投資は、エンタープライズAIの広範な導入において非常に重要です。
Gaudiアーキテクチャは、優れた価格性能比で、顧客が求める生成AIのパフォーマンスを提供し、選択肢の幅を広げるとともに、低いTCOで迅速な導入を可能にします。Intel Gaudi 3アクセラレーターは、大規模言語モデル向けに最適化されており、単一ノードから数千のノードに効率的にスケールアップ、スケールアウトできるよう設計されています。これにより、企業が独自モデルのトレーニングや、最新のオープンソースモデルの微調整と提供を行う際のニーズをサポートします。
現在のAI市場では、サービスの拡張に必要なCapExはかなりの額になる可能性があります。そのため、私たちはトークンあたりのコストを削減し、グリーンフィールドのデータセンターであっても、既存のデータセンター環境であっても、柔軟に展開できるAIシステムの構築に注力しています。
いくつかの事例を紹介させてください。まず、IBMとの協力により、IBMクラウド内でのAIコンピューティングのTCOを削減しています。IBMは世界中の企業と長年にわたり協力してきた豊富な経験を持ち、Gaudiを選んでいます。
もう一つの例として、Googleは自社のクラウドにXeon 6を導入しています。Googleは、AIを含む一般的なコンピューティングワークロードにおいてTCOとパフォーマンスを向上させ、機密コンピューティングを実現するためにXeonを選びました。これは、XeonとGaudiによる最適化されたパフォーマンスと効率性のおかげで、システム全体を考慮したアプローチを採用しているからです。
今後、市場の需要は、現在のようなフロンティアモデルのトレーニングやサービングに偏るものから、タスクベースのモデルのトレーニングやサービング、さらにはオープンソースモデルのサービングに、よりバランスの取れた形に移行していくと考えています。これを牽引するのは、主にエンタープライズAIの採用です。企業からも、このような能力が求められていると聞いています。私たちは、標準的なシリコン製品とオープンソースベースのソフトウェアスタックを活用することで、企業が新しい技術を容易に導入できるよう支援しています。
AIエージェントやRAG（検索拡張生成：Retrieval Augmented Generation）のワークロードは、企業がAIモデルを展開・拡張する際にますます重要になっています。企業のRAG導入に伴う課題に対処するために、「Intel AI for Enterprise RAG」を導入しています。これは、私たちの「Open Platform for Enterprise AI（OPEA）」を基盤とした、簡単に展開でき、完全に検証済みのユースケースを含んでいます。OPEAはオープンソースの取り組みであり、今年4月に立ち上げ、現在では40社以上の業界参加者がいます。
さらに、Dellと協力して、Gaudi 3とXeonを活用した最適化された生成AIソリューションを共同開発しており、Dell AI Factoryで稼働させ、共同顧客の価値実現までの時間を短縮しています。つまり、準備が整えば、すぐに取り組みを開始できるのです。
実際、Intel Tiber Developer Cloudを通じて、商用展開を迅速に開始できるオプションを提供しており、すでにSeekr（https://www.seekr.com/）のような企業が、このクラウドを活用して、お客様が独自のAIソリューションをトレーニングし展開できるターンキーなプラットフォームに即時アクセスできる環境を提供しています。
それでは、Intel Xeon 6についての詳しい説明のため、ライアン・タブラにバトンタッチします。
（2）Xeon 6
ありがとうございます。今年の初めに、Eコアを搭載したXeon 6を発表し、その市場からの反応に大変喜んでいます。初のEfficient-core製品として、顧客に約束したスケジュールを上回る形で提供し、彼らが私たちのプロセッサを使ったパイロットを迅速に稼働させることができました。
お客様は、ウェブサービス、ネットワーキング、ストレージなどのワークロードに対して、Eコアを搭載したXeon 6を導入しています。顧客からのフィードバックも好評で、Eコアによる効率性のおかげで、既存のデータセンターの多くをより良いパフォーマンスで統合し、同時に電力消費を削減できるようになったとの声をいただいています。
本日は、Xeon 6プラットフォームの新しいメンバーを発表できることを大変嬉しく思います。Xeon 6は、パフォーマンスコア、いわゆるPコアを搭載しており、AI、HPC、データベースといった成長が著しい分野で大幅な性能向上を実現するために、独自に設計されています。また、電力消費を抑えることで、お客様が既存の電力制約の中で拡張できるようにしています。これを実現しつつ、Intelに期待されているハードウェアベースのセキュリティ機能、例えば、機密コンピューティングや信頼サービスといったデータの安全性を保つ技術も引き続き提供しています。
Intel Xeon 6は、Pコアを搭載し、前世代と比較して大きなリーダーシップを発揮しています。特に、サーバーの利用率が40%の状態で、性能あたりの電力効率がほぼ2倍に向上しています。HPCワークロードでは、Xeon 6はより多くのコア、高いメモリ帯域幅、そしてAVX-512を活用しており、パフォーマンスが2.5倍向上しています。AI推論においても、競合他社と比べ、ResNet50ワークロードを使用した場合、最大5.5倍のパフォーマンス向上を実現しています。
Xeonは、AI推論だけでなく、AIアクセラレーテッド・システムに最も多く採用されているホストCPUとしても成功を収めています。これは、Xeon 6が優れたI/Oや高いシングルスレッド性能など、顧客がホストCPUに求める要件を独自に満たしているからです。
私たちはエコシステムのパートナーがXeon 6を市場に届けることを大いに楽しみにしています。
それでは、Xeon 6プロセッサやGaudi 3、そしてAIシステムに対するアプローチの説明については、サウラブにバトンタッチしたいと思います。
（3）Gaudi 3
ありがとうございます。それでは、私たちがエンタープライズAIに向けて行っている取り組みについて、特にデータセンター・アクセラレーター製品ポートフォリオに関してお話しさせていただきます。先ほど、全体戦略について説明しましたが、それを受けて、私からはGaudi 3を用いたシステムおよびソリューション戦略と今後の計画について概説いたします。
私たちは市場を、特定のユースケースやモデルタイプに基づく4つの重要なセグメント、つまりフロンティアモデル、タスクベースまたはドメイン特化型モデル、エンタープライズ向けのオープンソースモデル、そしてHPCやスーパーコンピューティングといったカテゴリーで捉えています。現在、AIインフラは主にトレーニングのニーズが支配していますが、将来的には、企業がAIから価値を引き出し、それを収益化する段階に入ると、推論が主導するようになると予測しています。
このトレンドを見据えて、私たちはまず推論とファインチューニングに注力し、システムファーストのアプローチを採用しています。このシステムファースト戦略は、エコシステムパートナーとの協力やオープンな業界標準を活用するという原則に基づいています。
その一環として、32ノードまたは256のGaudi 3アクセラレーターを搭載したGaudi 3スケーラブルシステムのリファレンスデザインを公開し、より多くのお客様がGaudiベースのシステムを導入しやすくすることを目指しています。
このデザインはモジュール式で、同じスケーラブルなビルディングブロックとイーサネットベースのスケールアウトファブリックを使用して、最大8,000のGaudi 3まで拡張可能です。すでにこの構成でシステムを構築し、認証やワークロードのベンチマーク作業をサポートするとともに、将来的にお客様が当社のDeveloper Cloudでアクセスできるよう準備を進めています。私たちは、Xeonを用いたオープンプラットフォームやリファレンスアーキテクチャの分野で豊富な実績を持っています。この経験と厳密さを、アクセラレーターベースのシステムにも適用し、まずはGaudi 3リファレンスアーキテクチャから展開しています。
では、次にエンタープライズAIソリューションに焦点を移しましょう。ハードウェアやインフラの話も重要ですが、エンタープライズAIにおいてお客様が最も関心を持っているのは、ソリューションとエンドツーエンドの体験です。大規模言語モデルから真の洞察を引き出すためには、RAGという技術が、エンタープライズ領域で急速に採用されています。
RAGは、企業が大規模言語モデルを常に再トレーニングやファインチューニングすることなく、自社の専有データに基づいてカスタマイズできる手法です。さらに、RAGは大規模言語モデルに伴う「ハルシネーション（幻覚）」と呼ばれる誤った出力を最小限に抑えることができ、企業が生成AIアプリケーションをより信頼性が高く、コスト効率よくカスタマイズして展開できるようにします。
ベクターデータベースはRAGパイプラインにおいて重要な役割を果たしており、現時点でこれらのデータベースを保存し、クエリを実行する最適な場所はXeonサブシステムです。一方で、Gaudi 3は、大規模言語モデル自体に対して優れたTCOあたりのパフォーマンスを提供します。インテルは、XeonとGaudi 3の優れた点を同一プラットフォーム上で活用し、スケーラビリティ、使いやすさ、TCOの改善、セキュリティ、そしてオープンエコシステムに基づくアプローチに焦点を当てた、RAGパイプライン全体を実現しています。
本日、インテルの「AI for Enterprise RAG」提供を発表できることを大変嬉しく思います。この提供により、チャットQ&A、コード生成、コンテンツ要約など、さまざまなユースケースに対応したエンドツーエンドのソリューションをお届けします。これらのソリューションはすべて、エンタープライズAI向けのオープンプラットフォーム「OPEA」に基づいており、企業はRAGベースのアプリケーションを簡単に探索、実験、そして展開できるようになります。
「Intel AI for Enterprise RAG」は、OEMパートナーと協力し、XeonおよびGaudi 3システム上で完全に認証された形で提供されます。
最後に、本日発表するGaudi 3アクセラレーターについて少し詳しくご紹介します。
Gaudiファミリーの伝統に従い、Gaudi 3はAI向けに特別に設計されたアクセラレーターです。NVIDIAのH100 GPUと比較して、LLaMAツールの700億パラメータモデルの推論において、最大20％の性能向上を実現し、競争力のある価格性能比と電力効率を提供します。特に価格性能に関しては、H100と比べてさらに大きな利点があります。今後もソフトウェアの改善により、性能はさらに向上することを期待しています。
Gaudi 3は、OEMフォームファクターで提供され、UBB上に8つのアクセラレーターがオールトポロジーで接続される構成と、PCIe CEMフォームファクターの2種類があります。
特にGaudi 3のPCIeフォームファクターでは、低消費電力と低コストで効率的なジェネレーティブAIの推論、ファインチューニング、または小規模なモデルのトレーニングが可能です。お客様は、まず4枚のカードを簡単に導入し、ニーズに応じてコンピュートを容易にスケールアップできるため、スモールスタートが可能です。
シリコンやシステムに加えて、性能が高く使いやすいソフトウェアスタックは、AIインフラの真の力を引き出すためにお客様にとって非常に重要です。
Gaudiのソフトウェアスタックは、PyTorchなどの主要なAIフレームワークをサポートし、開発者がモデルを容易にGaudiハードウェアに移行できるよう、ライブラリやツールを提供しています。私たちは、AI向けのコアソフトウェアスタックに加え、クラスタ管理、ジョブオーケストレーション、テレメトリ、データ管理、マイクロサービスベースのソリューションなど、フルスタックアプローチを重視しています。Gaudiでは、オープンエコシステムソフトウェアと手頃な価格でのパフォーマンスを提供し、プラットフォームの選択肢とコストパフォーマンスを両立させています。
Gaudi 3システムは、OEMパートナーであるDell、HPE、Supermicroを通じて市場に提供されます。また、一部の選ばれたお客様には、Intel Gaudi 3を早期に利用し、Developer CloudでAIモデルの展開を検証する機会が与えられます。さらに、Gaudi 3クラスタは次の四半期に大規模な商用展開向けに提供される予定です。お客様について言えば、IBMがGaudi 3をIBM Cloudに採用することを決定しました。これは、特にエンタープライズAIアプリケーションにおいて、Gaudi 3のワット当たりの性能とコスト効率の優位性を評価した結果です。
（4）クロージング
最後に、本日お伝えしたかった3つのポイントを振り返ります。まず1つ目は、私たちはTCOの利点を備えた高価値なAIシステムを創り出しているということ。2つ目は、最新のオープンソースモデルやフレームワークに最適化された性能あたりの電力効率を高め、効率性を追求していること。そして3つ目は、オープンソースツールを活用して、企業エコシステムがAIアプリケーションをより迅速に展開できるよう支援していることです。
本日はご参加いただき、ありがとうございました。
（5）オリジナル・コンテンツ
オリジナル・コンテンツは、以下リンクからご覧になれます。
尚、本投稿の内容は、参考訳です。また、意訳や省略、情報を補足したコンテンツを含んでいます。
Intelより
（Original Published date : 2024/09/24 EST）
（6）関連記事
御礼
最後までお読み頂きまして誠に有難うございます。
役に立ちましたら、スキ、フォロー頂けると大変喜び、モチベーションにもつながりますので、是非よろしくお願いいたします。
だうじょん
免責事項
本執筆内容は、執筆者個人の備忘録を情報提供のみを目的として公開するものであり、いかなる金融商品や個別株への投資勧誘や投資手法を推奨するものではありません。また、本執筆によって提供される情報は、個々の読者の方々にとって適切であるとは限らず、またその真実性、完全性、正確性、いかなる特定の目的への適時性について保証されるものではありません。 投資を行う際は、株式への投資は大きなリスクを伴うものであることをご認識の上、読者の皆様ご自身の判断と責任で投資なされるようお願い申し上げます。
この記事が気に入ったらサポートをしてみませんか？