Perplexity CEOが語る：DeepSeekがAI競争を変える理由

PerplexityのCEOであるAravind Srinivas氏が今話題の中華製AI：DeepSeekについて語った動画が2日前に上がっていたので解説していきたいと思います。

この動画では、「これまでOpenAIやGoogleが数年と数億ドルを費やして開発してきたものを、DeepSeekはわずか2か月、600万ドル以下で実現しました。このオープンソースモデルは、MetaのLlamaやOpenAIのGPT-4-O、AnthropicのClaude Sonnet 3.5をさまざまなテストで上回る成果を示し、AI業界に衝撃を与えています。」と言っていますが、この部分はどうやら間違っているようです。

動画内でもDeepSeekがNVIDIA H100を5万台保有しているとの話が出ており、もしこれが事実であれば、ハードウェアだけで数百億〜数千億円はかかると推定されます。

DeepSeekのリソースと規制

Scale AIのCEOであるアレクサンドル・ワン氏によると、DeepSeekは約50,000台のNVIDIA H100を保有しています。しかし、米国の輸出規制の影響で、それらのリソースについて公に言及することができない状況にあります。この制約下でもDeepSeekが達成した成果は、規制が必ずしも技術的な進化を阻むものではないことを示しています。
この辺の解説は下記のNoteを合わせてご覧ください。

また、詳しいDeepSeekの解説は下記のNoteをご覧ください。

Perplexity CEOの見解

PerplexityのCEOであるAravind Srinivas氏は、インタビューの中で次のように語りました：

1. 中国の革新性: DeepSeekは単なる模倣にとどまらず、独自の革新を加えている。

2. 米国への教訓: 高額な資金投入がなくても競争力のあるモデルを構築できることを証明。

3. オープンソースモデルのリスクと利点: オープンソースの採用が広がる中、米国は独自技術の進化を加速させる必要がある。

Srinivas氏はまた、DeepSeekの効率性と低コストでの開発が、米国のAI業界に新たな競争の波をもたらす可能性についても言及しました。

DeepSeekが「蒸留（distillation）」のような手法を利用している可能性は非常に高いです。

DeepSeekは蒸留によって作られた

Srinivas氏はDeepSeekが蒸留によって作られたと語りました。蒸留は、大規模なモデル（いわゆる「ティーチャーモデル」）から小規模なモデル（「スチューデントモデル」）へ知識を効率的に転送するプロセスを指します。この方法は、モデルのパラメータ数を減らしながらも、高い性能を維持できるというメリットがあります。DeepSeekが限られたリソースで高い性能を実現している背景には、以下のような特徴が関連していると考えられます：

1. 効率的なリソース活用
   DeepSeekが採用しているMixture of Experts（MoE）アーキテクチャは、蒸留の概念と密接な関係があります。MoEはモデル内の特定の部分だけを活性化することで、リソース使用を最小限に抑えつつ、必要なタスクに特化した性能を発揮します。

2. トレーニングの工夫
   DeepSeekの技術レポートでは、数値安定性や低精度フォーマット（例えば、FP8）を駆使したトレーニング手法が強調されていました。これらの工夫により、計算コストを削減しながら精度を向上させています。

3. 公開されたモデルの再利用
   DeepSeekが他のオープンソースモデル（例えばGPTやLLaMA）の成果を活用し、それをさらに効率的な形で蒸留や最適化した可能性があります。これにより、短期間で高性能なモデルを構築することができたと考えられます。

OpenAIは今後も競争力を保ち続けるのか？

Aravind Srinivas氏は、OpenAIのo3モデルについて次のように述べていました：

• 現状の優位性: Srinivas氏は、OpenAIのo3モデルが現時点ではまだ他の競合モデルと比べて差別化された推論能力を持っており、「AIソフトウェアエンジニア」とも言える性能を示していると評価しています。

• 競争の可能性: ただし、この優位性が永続的ではない可能性も強調しており、DeepSeekのような競合モデルがその差を埋めるか、追い越す可能性についても警戒を示していました。

• 新たな技術方向性: OpenAIはo3のような「推論能力に重点を置いたモデル」を次の段階と捉えており、単に大きなモデルを作るのではなく、推論能力の向上に注力していることを指摘しています。

これにより、OpenAIがまだリードしている部分はあるものの、他の競合が効率的かつ迅速にその差を縮めつつある状況を懸念しているようです。

米国AI業界への影響

DeepSeekの成功により、米国のAI研究機関や企業は以下の課題に直面しています：

• 資金調達と効率化: 高コストのモデル開発が見直される可能性。

• 競争戦略の転換: より少ないリソースでの開発を目指す動きが加速。

• オープンソースへの対応: オープンソースモデルが普及する中での新たな市場戦略の模索。

さらに、米国のAI企業は、AIモデルの透明性と倫理性を強化する必要性にも直面しています。