見出し画像

NVIDIA GPUアーキテクチャのAI対応の系譜

ai300lab

はじめに

AI半導体で市場シェア8割、今、株式市場で大人気のNVIDIAのGPUアーキテクチャにおけるAI対応の変遷を調べてみました。今週、時価総額2兆ドルに到達したそうです。

NVIDIA GPU アーキテクチャの変遷

Tensorコアが乗り始めて以来のNVIDIA GPUアーキテクチャの変遷は以下の通り（発表年、アーキテクチャ名、CUDA[Compute Capability]バージョン、記述）：

  • 2018 Volta CUDA7.0 Tensorコア、次世代NVLink

  • 2018, 2019 Turing CUDA7.5 新TensorCore

  • 2020 Ampere CUDA8.6 第3世代NVlink, Tensor (Flot32, Float64) 第3世代TensorCore

  • 2022 Ada Lovelace CUDA8.9 第4世代Tensorコア FP8, CUDA コア(FP32)

  • 2023 Hopper CUDA9.0 TransformerEngine, 第4世代 NVLink

AI対応

Tensorコア

Tensor計算をする計算ユニットです。Tensor計算自体は単なる行列計算なのでAI学習でなくても空間情報処理やグラフィックス描画でも使えます。Voltaで導入され、Ada Lovelaceで第4世代になりました。
浮動小数点演算を前の世代 (Ada Lovelace)の3倍で処理します。

Transformer Engine

HopperではTensorコアは数的増強にとどまり、質的な変化はTransfromer Engineでもたらされました。Transformerは大規模言語モデルの中枢で使われるモデルです。2017年にGoogleがTransformerを発表するまでは学習に高い並列度を持ち込むことは困難でした。OpenAIがTransformerをもとにGPTを作って成功してからは大規模言語モデルの学習はTransformer一択となっています。これを半導体レベルでサポートしたのがHopperです。
同時にTransformer Engine Libraryが公開されています。今は1.3.0版です。

NVLink


チップの中だけで学習が終わらないのが大規模学習モデルです。チップ間の通信の高速性が重要になります。GPUのプログラミングの場合、GPUにデータをロードする時間も無視できないので、この部分の高速化がきいてきます。HopperではNVLink第4世代が導入されています。毎秒 900 ギガバイト (GB/s)になっています。
NVLinkは確実に高速化し、AI学習のスケーリングを支援しています。ただのチップの中だけでなくチップ間データ転送速度に注力しているのも強みです。

NVLinkの4世代の高速化（出典: https://www.nvidia.com/ja-jp/data-center/nvlink/)

システム化

単にGPUアーキテクチャをHopperにするだけでなく、Hopperを組み込んだシステムをAIスーパーコンピュータとして提供しています。256機のGH200を1つのGPUとして扱うことが可能で、144TBメモリ、900GB/sのGPU間帯域幅などを実現しています。これだけあったら他に何もいらないと思います。AI学習のスケーリングが飛躍的に容易になると思います。144TBあっても足らないといったらOpenAI, Google, Metaだけではないでしょうか。そんなに高品質なデータを作るほうが大変だと思います。


2026年まで敵なしの予感

半導体チップの上に直接Transformerを大規模に埋め込んだのがHopperです。巨大IT企業ならTransformerの重要性は認識しているので自社AI半導体に直接埋め込むのは考えつくと思います。
大規模言語モデルの学習は単なる学習ではなくスケーリングが重要になります。大規模なデータを入力したときの並列性とそのときの運用の管理です。この部分はAI学習とネットワークと半導体設計を三位一体で具現化するNVIDIAの得意なところです。
別記事で「NVIDIAが暴落する日がAI革命の本当の始まり」を書きました。これはあくまで巨大IT企業が自前大規模言語モデル開発をあきらめる日を想定しています。他の企業が競争優位を奪うというシナリオも原理的にはあり得ますが、Hopperアーキテクチャを見る限り、当分なさそうです。
新しいアーキテクチャを設計し検証し、それに合わせたソフトウェアエコシステムを作るということに他の企業が簡単に成功するとは思えません。

おわりに

半導体会社でありながらAIのソフトウェア部分にも強いNVIDIAには脱帽です。株式時価総額2兆ドルをこえ、まさに飛ぶ鳥を落とす勢いのNVIDIAです。どこまで行くのでしょうか。
ソフトウェアの世界の方程式として「半導体→ネットワーク→サービス」という進化の順序があります。NVLinkなどを見ているとネットワークのところまでNVIDIAでカバーできそうです。
前段階が成長すればするほど最後のサービスのところも高みに到達するので楽しみです。

参考文献


いいなと思ったら応援しよう！