はじめに
Mistral-NeMoは、NvidiaとフランスのスタートアップMistral AIが共同開発した、最新のAIモデルです。12Bパラメータと128kトークンを備えているので、多言語対応ローカルLLMでは期待の星のひとつです。
最近、日本語InstructチューニングモデルがCyberagentによって公開されたので試してみました。
CyberagentのHuggingfaceページはこちら
GGUF変換してくださったものはこちら(※ このモデルを利用します)
GGUFフォーマットモデルですが、残念ながら現状ではOllamaでは量子化の問題で(transformerのバージョンが古い?)動作しないようです。アップデートを待ちたいと思います。
LM Studioでの動作になります。
前回のあらすじ
日本語対応&128kコンテキストというスペックなので期待は大きかったのですが、実際の使用感は、言語が混ざったりと不明瞭なものが多く残念なものでした。
しかし、日本語Instruct版は日本企業大手Cyberagentが日本語チューニングを行ったものという事で期待は膨らみます。
動作確認
※ モデルサイズはQ4_0版を利用します。
筆者:東京とニューヨークで生活するメリットとデメリットを説明して
問題なしです。
筆者:まどか☆マギカのあらすじを教えて
完璧ではないですが、日本のサブカルもほぼ正確に学習できているように思えます。
これは(現状日本語LLMでは最強と筆者が勝手に考えている)Llama3-Elyzaを超える日本語性能かもしれません。Elyzaも優秀なのですが、コンテキストサイズが8kと小さいので用途が限られてしまいます。Ollamaで動作すれば文句なしだったのですが。
※ Ollama Open WebUIで利用するだけなら、OpenAI API経由を利用する方法があります。LM StudioでOpenAI APIサーバーを立てます。
以下、関連する記事の【PR】です。