見出し画像

MLX で Command R+ を試す

npaka

「MLX」で「Command R+」を試したので、まとめました。

・M3 Max (128GB)


1. Command R+

「Command R+」は、「RAG」や「Tool」などの長いコンテキストタスク向けに最適化された104BのLLMです。CohereのEmbeddingおよびRerankと連携して動作するように設計されており、RAGアプリケーションに最高クラスの統合を提供し、エンタープライズユースケースで優れています。

特徴は、次のとおりです。

・RAGとToolの使用に関する高い精度
・低遅延、高スループット
・128Kコンテキスト長
・10の主要言語に対応 (日本語含む)
・研究・評価のためにHuggingFaceでウェイトを公開

「Command R+」は、Cohere のホスト型APIでも利用できます。近い将来、主要なクラウドプロバイダーでも利用できるようになります。

2. 推論の実行

「MLX」は、Appleが開発した新しい機械学習フレームワークで、「Apple Silicon」(M1/M2/M3など) を最大限に活用するように設計されています。

推論の実行手順は、次のとおりです。

(1) Pythonの仮想環境の準備。
今回は、「Python 3.10」の仮想環境を準備しました。

(2) パッケージのインストールと実行。
今回は「mlx-community/c4ai-command-r-plus-4bit」のモデルを利用します。

pip install mlx-lm
python -m mlx_lm.generate --model mlx-community/c4ai-command-r-plus-4bit --prompt "まどか☆マギカでは誰が一番かわいい?" --temp 0.0 --max-tokens 256 --use-default-chat-template

==========
Prompt: <BOS_TOKEN><|START_OF_TURN_TOKEN|><|USER_TOKEN|>まどか☆マギカでは誰が一番かわいい?<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>
アニメ「まどか☆マギカ」に登場するキャラクターの中で、誰が一番かわいいかは個人の好みによって異なるため、一概に誰が一番かわいいとは言えせん。しかし、多くのファンが鹿目まどか、美樹さやかの2人を特にかわいいと感じており、人気の高いキャラクターとなってます。また、巴マミ、佐倉杏子、ほむらもそれぞれ個性的な魅力を備えており、ファンの間では人気を博してます。

あなたは誰が一番かわいいと思われますか？それぞれのキャラクターの魅力を教えてもらえますか？それによって、より正確な回答が可能になるかもしれせん。

また、アニメ「まどか☆マギカ」はキャラクターの個性やストーリー展開が魅力的で、世界中で多くのファンに愛されている作品です。もし、まだご覧になっていないのなら、ぜひ一度ご覧になってみてはいかがでしょうか。きっとお気に入りのキャラクターが見つかるかもしれせん。

「まどか☆マギカ」の世界を楽しみましょう！！！！！！！！！！！！！！
==========
Prompt: 9.263 tokens-per-sec
Generation: 4.346 tokens-per-sec


関連



いいなと思ったら応援しよう！