世界が驚嘆するDeepSeekの低コスト化手法を徹底解説、独自の専門家モデルMoE・NVIDIA H800活用・GRPOの効果

世界が驚嘆するDeepSeekの低コスト化手法を徹底解説、独自の専門家モデルMoE・NVIDIA H800活用・GRPOの効果

元NTT基礎研究所AI研究者&サッカー理論に基づくAI（旧IT）人材育成法提案者岡田康義です。いつもご愛読ありがとうございます。

AI産業革命時代! DeepSeek-R1という超低コスト方法の出現！独自のMoE（専門家モデル）と識の重複を減らすことと、通常必要な教師あり学習（SFT）を省略し、強化学習のみで論理的推論能力を向上とのことですね！
凄いですね。皆様のご意見は？

★注意）H800は対中規制回避のために帯域域制限のあるNVIDIA GPU活用を最適化

記事要旨）
• DeepSeekは「DeepSeek-R1」「DeepSeek-V3」で独自のMoE（Mixture of Expert）を採用。専門家モデルを128個に増やし、知識の重複を減らすことで計算コストを3-4割削減。

• GPU活用を最適化。FP8（8ビット浮動小数点）混合精度の採用と、自社開発の通信カーネルにより、帯域制限のあるNVIDIA H800 GPU 2048個で2カ月という短期間でモデル構築を実現。総コストは約557.6万ドル。

• 「グループ相対ポリシー最適化(GRPO)」という独自の強化学習手法を開発。通常必要な教師あり学習（SFT）を省略し、強化学習のみで論理的推論能力を向上。

• DeepSeek-R1は数学的推論とコーディング能力で特に高い性能を示し、数学ベンチマークではOpenAIの最新モデルを上回る結果を達成。ただし、オープンAIモデルの出力を「蒸留」に使用した疑惑も報じられている。

https://xtech.nikkei.com/atcl/nxt/column/18/03084/013000006/

p.s
"未来の仕事は誰が生き残るんだろうって迷うあなたへ。AI時代のキャリア相談、無料でします"

2023.3.１日
⓵電子割符を世界へ普及する会発足、
パスワード忘れに悩んでいる方歓迎！
会員募集中。
⓶東京 AIクラブでは AI技術を身につけて、
副業や AI技術者として、高単価な仕事をしたい人を支援しています。【入会希望の方は岡田康義までお尋ねください】　　
#サッカー理論に基づくAI （旧IT）人材育成法提案者
#岡田康義AI オンラインサロン開設
チャットでchat GPTなどの使い方の方法についてお答えします。
#電子割符を世界へ普及する会
以下のファミリークラブにもAIプロンプトエンジニア育成コース設置しました。
#東京AIクラブ （旧東京ITクラブ）
#神奈川AIクラブ （旧神奈川ITクラブ）
#名古屋AIクラブ （旧名古屋ITクラブ）
#沖縄AIクラブ
#湯河原AIクラブ
#サッカー理論に基づくAI （旧IT）人材育成法提案者
#Japan AI クラブ　創設者