見出し画像

NvidiaがローカルコンピュータにダウンロードできるLLMを公開

Kawamura Akihiro


Mistral Nemoは、Mistral AIとNVIDIAが共同で開発した最新の大規模言語モデル(LLM)です。

モデルの概要

  • パラメータ数: 12B (120億)

  • コンテキストウィンドウ: 128K (128,000トークン)

  • ライセンス: Apache 2.0 (オープンソース)

主な特長

  1. 高性能:

    • 同サイズカテゴリーの他モデル(Gemma 2 9B, Llama 3 8B)を多くのベンチマークで上回る性能を示す

    • マルチタスク言語理解ベンチマーク(MMLU)で68%のスコアを達成(GPT-3.5 Turboと同等)

  2. 多言語対応:

    • 英語、日本語、中国語、韓国語、アラビア語、イタリア語、スペイン語、ドイツ語、ヒンディー語、フランス語、ポルトガル語など、多言語で高いパフォーマンスを発揮

  3. 効率的なトークナイザー:

    • 新開発の「Tekken」トークナイザーを採用

    • 自然言語テキストとソースコードの圧縮効率が向上(日本語では1.56倍の効率化)

  4. 量子化対応:

    • FP8データフォーマットでの推論をサポート

    • 性能低下を抑えつつ、メモリ使用量の削減とデプロイメント速度の向上を実現

利用方法

  • NVIDIA AI Enterpriseプラットフォームで利用可能

  • ローカル環境でも使用可能

応用分野

  • チャットボット

  • 多言語タスク

  • コーディング

  • 要約

  • 多ターン会話

  • 数学

  • 常識的推論
    Mistral Nemoは、コンパクトなサイズながら高い性能を持つ多言語LLMとして、企業や研究者に新たな可能性をもたらすモデルとして注目されています。

Mistral Nemoをローカル環境で使用するのに必要なコンピューターの仕様

GPU要件

  • 最小要件: 24GBのGPUメモリ

  • 推奨GPU:

      • NVIDIA RTX 4090 (24GB)

ソフトウェア要件

  • フレームワーク: NVIDIA NeMoフレームワーク

  • 推論最適化:

    • NVIDIA TensorRT-LLMを使用

    • FP8データフォーマットでの推論をサポート

特記事項

  • 量子化設計されているため、FP8でもパフォーマンスの低下を抑えて推論処理が可能

  • 128Kのコンテキスト長を処理可能

推論性能の向上

  • メモリ使用量の削減

  • デプロイメント速度の向上
    Mistral Nemoは比較的小型のモデル（12Bパラメータ）であるため、高性能なゲーミングPC程度のスペックでも動作可能です。
    NVIDIAのAIプラットフォームやNVIDIA AI Enterpriseを利用することで、より最適化された環境でMistral Nemoを実行できます。

楽天が開発したLLMはMistralのモデルをベースにしています。


楽天が公開した「Rakuten AI 7B」は、Mistral AIのオープンモデル「Mistral-7B-v0.1」をベースに開発されました。

  1. Mistral-7B-v0.1をベースモデルとして採用

  2. 大規模な日本語と英語のデータを用いて事前学習を繰り返し実施

  3. 独自のフィルタリングとアノテーション作業によりデータの質を向上

  4. 日本語に最適化された独自の形態素解析器を使用してテキスト処理を効率化

この結果、基盤モデルの「Rakuten AI 7B」、インストラクションチューニング済モデルの「Rakuten AI 7B Instruct」、チャットモデルの「Rakuten AI 7B Chat」という3種類のモデルが開発されました。

これらのモデルは、Mistralをベースにしつつ、楽天独自の工夫を加えることで日本語処理に特化した性能向上を図っています。

#NVIDIA #Mistral#LLM#ローカル#ダウンロード

いいなと思ったら応援しよう！