オープンソースLLMの新星：DeepSeekV3

大規模言語モデル（LLM）の開発競争が激化する中、新たに注目を集めているのが DeepSeekV3 です。本記事では、DeepSeekV3の特徴や採用されている MoE（Mixture of Experts） アーキテクチャについて、解説します。

DeepSeekV3とは？

DeepSeek v3 - State-of-the-Art Large Language Model

DeepSeekV3は、中国のAI企業DeepSeekが開発した大規模言語モデルで、6,710億（671B）ものパラメータを持つ点が大きな特徴です。しかし、全パラメータを一律に使うのではなく、必要に応じて「アクティブになるパラメータ数」を抑える仕組み（後述のMoE）によって、推論コストを大幅に削減しています。

95后AI“天才少女”刷屏！雷军千万年薪挖角！

deepseek-ai/DeepSeek-V3 · Hugging Face

さらに、訓練にかかったコストはおよそ500万ドル（約5〜6億円）ほどと報じられており、近年の超大規模モデルとしては破格の安さが話題となっています。動画の1分半ほどで説明。

推論速度は、前世代モデル（DeepSeekV2）に比べて約3倍速いとされ、1秒間に60トークンを処理できるといわれています。

DeepSeekV3は現在、Hugging Face HubやDeepSeekの公式チャットサービスでも利用可能で、オープンソースかつ低コストで高い性能を示す点が、多くの研究者から注目されています

https://chat.deepseek.com/

DeepSeekV3のアーキテクチャ：MoE（Mixture of Experts）

DeepSeekV3が高性能と低コストを両立できる最大の理由は、Mixture of Experts（MoE） アーキテクチャの採用にあります。MoEは複数の「専門家（エキスパート）」モジュールを用意し、入力ごとに最適なエキスパートだけを選択して推論を行う仕組みです。

• 計算コストの削減
  すべてのエキスパートを同時に使うのではなく、必要なエキスパートのパラメータだけを呼び出すため、巨大モデルでありながら推論速度を高い水準に保つことができます。

• 専門化による性能向上
  それぞれのエキスパートは特定のタスクやデータに特化しており、入力の種類や文脈に応じてエキスパートを切り替えるため、汎用的かつ高精度な応答が可能です。

• ロードバランシング
  DeepSeekV3では、各GPUが同程度のトークンを処理するようにエキスパートを配置し、効率的にタスクをさばく仕組みを取り入れています。これにより、学習や推論において安定した高速処理が期待できます。

参考文献

DeepSeek-V3 Technical Report

What is mixture of experts? | IBM

What is the Mixture of Experts — A Comprehensive Guide

その他の主要技術要素

• Multi-head Latent Attention (MLA): キーバリューキャッシュを削減し、高速な推論を実現。
• DeepSeekMoE: CPUメモリにエキスパートパラメータを格納する実装を取り、GPUメモリ使用量を節約。
• Auxiliary-loss-free strategy: エキスパートのロードバランシング時に生じる性能低下を最小限に抑える手法。
• Multi-Token Prediction (MTP): 一度に複数のトークンを推論することで処理速度と精度を向上。
• FP8 mixed precision training: 必要な部分だけ高精度を残し、大半の演算をFP8で行うことにより計算効率を高める。

これらの技術の組み合わせにより、DeepSeekV3は14.8兆個という大規模・高品質なデータから学習しながら、他のオープンソースモデルを凌駕する性能を発揮しています。

DeepSeekV3の強みと評価

• 高性能 & 低コスト
  従来の超大規模LLMに比べ、圧倒的に低い訓練コストで開発が可能になった点は、多くの研究者を驚かせています[3]。また、実際に評価されているさまざまなベンチマークテスト（MMLU、DROP、C-Evalなど）で、既存のオープンソースモデルを上回る結果を示しています。

• AIの民主化への貢献
  “AI界のピンドゥオドゥ（中国の格安EC）”とも呼ばれるように、「誰でも使える低コストLLM」を目指したDeepSeekV3は、AI技術の門戸をさらに広げる存在として期待されています。

• オープンソースモデルの利点
  モデルや技術資料が公開されているため、透明性が高く、コミュニティ内での協力や改良が活発に行われることが見込まれます。

まとめ：DeepSeekV3がもたらす未来

DeepSeekV3は、MoEアーキテクチャの効果的な活用と、訓練・推論の効率化によって、超大規模かつ高性能なLLMを驚くほど低いコストで実現した点が革新的です。
今後は、チャットボットやコンテンツ生成、コード補完など、さまざまな分野への応用がますます進むでしょう。また、オープンソースであることから、研究コミュニティや開発者が積極的に改良を加え、新たな派生モデルや応用サービスが誕生することも期待されます。

DeepSeekV3は、AI開発のハードルを大きく下げ、“AIの民主化”を後押しする存在として大きな注目を集めています。公式の DeepSeek-V3 Technical Report には詳細なアーキテクチャや実験結果が掲載されているので、興味のある方はぜひ参照してみてください。