見出し画像

なぜ型落ちNVIDIAでCUDAも使わずDeepSeekが実現できたのか解説

このNoteではDeepSeekがAI開発に必須と言われているCUDAをなぜ回避してChatGPTの推論モデルo1クラスのAIが開発できたのか、そしてなぜ輸出禁止扱いになっていたNVIDIAのGPUをかき集める事ができたのかを解説していきたいと思います。

特にNVIDIAのCUDAありきだったAI開発にCUDAを使わずとも最先端モデルが開発できた事に対して、NVIDIA株は20日に市場最高の暴落を経験しています。

このNoteの解説でなぜこれほどまでにNVIDIAが下げてしまったのか解明できると思います。


DeepSeek、NVIDIAのGPUをシンガポール経由で入手

先ごろ報じられたブルームバーグの記事によれば、中国のAIスタートアップ企業「DeepSeek(ディープシーク)」が、シンガポールのサードパーティー企業を通じて米国の先端半導体企業・エヌビディア(NVIDIA)製のGPUを入手し、AI関連の規制を潜在的に回避している可能性があるという調査が進められているとのことです。

DeepSeekとは?

中国の注目スタートアップ DeepSeekは中国で急速に頭角を現しているAIスタートアップ企業です。独自のAI技術、特にチャットボットなどの生成系AIに強みを持つと言われ、最近は「R1」というAIチャットボットモデルを公開し話題を集めました。

R1モデルの特徴 R1モデルは、いくつかの比較で米国の同等ツールに匹敵すると評価されており、AIの性能指標の一部ではトップクラスの数字をマークしているとも伝えられています。DeepSeekは、このモデルの低コスト性と効率性を特に強調していますが、一部専門家からは「欧米の技術を実質的に取り込んでいるのではないか」という疑念も出ています。

詳しくは下記のNoteを合わせてご覧ください。

問題となっている規制回避疑惑

米国の半導体輸出規制 AIを含む先端技術開発で重要な部品として、GPUを含む高性能半導体が必要不可欠です。米国政府は中国のハイテク企業への先端半導体輸出を厳しく制限しています。特に軍事転用や監視技術への利用が懸念されるため、ハイエンドなAI向けチップは規制対象になりやすいのが実情です。

シンガポールのサードパーティーを介した取引 報道によると、DeepSeekはこうした米国の輸出規制を回避するために、シンガポールに拠点を持つサードパーティー企業を通じてNVIDIAの先端GPUを購入した可能性が指摘されています。米当局はこの動きを注視し、事実関係を調査中とのことです。

規制回避の手法 企業が輸出規制を回避する際の典型的な方法として、第三国を経由した再輸出という手段があります。具体的には、米国から直接中国へ出荷されるのではなく、一度別の国(今回の場合はシンガポール)を経由することで書類上の輸入元を変え、制裁や輸出規制の網をくぐるという構造が疑われています。

今回の疑惑が及ぼす影響

米中技術競争の行方 今回の疑惑が事実だとすれば、米国政府が目指していた先端技術の対中封じ込め政策がどれほど実効性を持つかに疑問符がつきます。一方で、こうした抜け道をどう封じるかは、今後の米中関係の大きな争点となるでしょう。

データと知見の流出リスク 先端技術にはハードウェアのみならず、アルゴリズムや学習データなどソフト面も不可欠です。欧米企業の研究成果やノウハウがどの程度中国企業に取り込まれているのか、国際的なガバナンスの枠組みをどう整備するかが問われる局面となっています。

AI規制の強化へ 米国や欧州連合(EU)で議論が進むAI規制は、主にプライバシー保護や透明性、差別や誤情報対策が中心でしたが、今後は軍事転用や輸出規制との兼ね合いも重要性を増すでしょう。国際的な協調が進まなければ、各国がそれぞれの都合で取り締まりを行い、技術競争が混乱する可能性があります。

DeepSeek が注目される理由:PTX による CUDA の壁越え

DeepSeekは中国初のAIスタートアップとして2024年末に大規模モデルの成果を世界に向けて発表しました。NVIDIAのH800 GPUを2,048枚束ねたクラスター上で、わずか2か月という短期間で6,710億パラメータの言語モデル(Mixture of Experts方式)を訓練したとされています。この結果は、既存の大手を上回る効率を叩き出し、国内外のAIコミュニティで大きな話題となっています。

PTXの直接活用

一般にGPUを扱う際は、CUDA + C/C++などの高レベルAPIが用いられることが多いです。しかしDeepSeekは、NVIDIAが提供する中間コードの一種であるPTX(Parallel Thread Execution)を直接操作する方法を選択しました。PTXを使うことで、レジスタ割り当てやワープ単位のスケジューリングなどの極度に細かい制御が可能になります。これにより、高度な最適化を施すことで計算効率を大幅に引き上げることに成功したと見られています。

もちろん、アセンブリに近いレイヤーを扱うためにメンテナンス難度は急激に上昇しますし、GPUアーキテクチャが変わるたびに最適化し直すリスクもあります。それでも、海外の輸出規制やGPU不足の状況下で限られたリソースをフルに活用するため、あえてPTXを選んだというのがDeepSeekの特徴的なアプローチです。

H800 GPUの改造と少ない台数での大規模学習

一般的に大規模AIの学習には多数の最先端GPUが必要とされます。しかしDeepSeekは、H800クラスターの通信を極限まで最適化し、2048枚でもわずか2か月で膨大なパラメータを学習させることに成功しました。Mixture of Experts方式の大規模モデルは通常、計算や通信コストが莫大になるとされますが、PTXレベルの調整によってボトルネックを徹底的に解消できたと伝えられています。

例えば、132基あるストリーミングマルチプロセッサー(SM)のうち20基を通信やデータ圧縮専用に割り当て、GPU間の転送を高速化。ワープ単位でのスケジューリングや圧縮アルゴリズムの細かなチューニングも実施したことで、メタなどの既存大手を上回る効率を実現したとのことです。

市場へのインパクト

DeepSeekが「高性能GPUをあまり必要としない時代を切り開くのではないか」との観測が広まったことで、NVIDIAの株価が一時急落したというニュースも報じられました。しかし、Intelの元CEOパット・ゲルシンガー氏は「AIは与えられた計算リソースをすべて吸収して巨大化していく」と述べ、DeepSeekの事例が直接GPU需要を削ぐわけではないとの見方を示しています。

実際、PTXレベルの最適化は相当に高い技術力とメンテナンスコストを伴うため、誰でもすぐ真似できるわけではありません。ただ、この手法が普及していけば、ミドルレンジGPUでも高度なAIが動かせる可能性が広がり、結果としてさらに大規模な研究やユーザー数増加をもたらすかもしれません。

PTX時代を切り開くDeepSeekの足跡

DeepSeekが示したPTX活用によるGPUプログラミングは、AI界に新たな可能性を提示しました。従来のCUDAレイヤーを超え、アセンブリに近い形でハードウェアの潜在能力を引き出すアプローチは非常にチャレンジングですが、その分だけリソース効率やスループットを極限まで高めることができます。

現時点で、この成功事例がAI業界全体にどこまで波及するのかは未知数です。しかし、大規模AIモデルの学習を少ないGPU数で高速化できる手法として、DeepSeekの功績は多くの研究者や企業から注目され続けるでしょう。大がかりなインフラ投資が難しい環境でも、エンジニアリング次第でトップクラスの成果を出せることを証明してみせたのがDeepSeekの大きなインパクトと言えます。

DeepSeekはなぜオープンソースに踏み切ったのか

なぜDeepSeekはオープンソース化に踏み切ったのでしょうか? そこには、「信頼の確立」「リソース制約の克服」「オープンソースの優位性」という3つの理由があると考えられます。

中国企業としての信頼獲得

DeepSeekは中国企業であり、近年の米中関係の影響を受け、欧米市場では警戒の目を向けられています。特に、アメリカ政府が中国へのAIチップ輸出規制を強化する中、中国発のAIモデルに対する不信感が高まっています。

こうした状況で、DeepSeekがオープンソース化を決断した背景には、モデルの透明性を確保し、世界中のユーザーや開発者からの信頼を得る狙いがあると考えられます。オープンソース化することで、コードや学習プロセスを公開し、より多くの人々に利用されやすくすることが可能になります。

限られたリソースの中での効率的なトレーニング

OpenAIやGoogle、Metaなどの大手企業は、豊富な資金と計算資源を持ち、大規模なモデルを開発できます。しかし、DeepSeekはアメリカのAIチップ規制の影響もあり、限られたリソースの中で競争しなければなりません。

そこでDeepSeekは、「より少ないリソースで最大の成果を生む効率的なトレーニング手法」を開発しました。実際、DeepSeek-R1はOpenAIのGPT-4oと比較してわずか3%のコストで同等以上のパフォーマンスを実現しているとされ、これが競争力を生む要因の一つになっています。

オープンソースが未来を支配する

近年、ソフトウェア業界ではオープンソースの流れが加速しています。オープンソースのシステムは、カスタマイズ性が高く、開発者が自由にコードを監査・修正できるため、多くの企業がインフラとして採用しています。

DeepSeekもこの流れに乗り、オープンソース化することで広範な開発者コミュニティを取り込み、より多くの企業に採用されることを狙っています。実際、AI業界においても、特定の企業に依存せずカスタマイズできるオープンソースモデルの人気が高まっています。


とはいえ、今後もオープンソースとプロプライエタリのモデルが競争する中で、AI業界の勢力図は変化していくでしょう。DeepSeekのような新興企業がどこまで市場に食い込めるのか、今後の動向が注目されます。

いいなと思ったら応援しよう!