見出し画像

【メモリ消費量一覧付き】OllamaでDeepSeek R-1を動かすよ!

はやく!うごかしたい!


Ollamaインストール

まずは Ollama のWindows版をインストールしますよ
あ!CUDAの設定とかは事前に終わらせといてね?

モデルはここで確認できるよ(DeepSeekでGrepした結果)

2025年1月21日時点のOllamaでDL可能なDeepSeekのモデル一覧は以下

https://ollama.com/library/deepseek-r1:1.5b
https://ollama.com/library/deepseek-r1:7b
https://ollama.com/library/deepseek-r1:8b
https://ollama.com/library/deepseek-r1:14b
https://ollama.com/library/deepseek-r1:32b
https://ollama.com/library/deepseek-r1:70b
https://ollama.com/library/deepseek-r1:671b

各モデル動作

モデルをダウンロードするよ

DeepSeek R-1 1.5b

ollama run deepseek-r1:1.5b

1.5B は GPUメモリを 2.8GByte 使いました
そしてヤケクソに早いです

DeepSeek R-1 7b

ollama run deepseek-r1:7b

7B は GPUメモリを 6.3GByte 使いました

DeepSeek R-1 8b

ollama run deepseek-r1:8b

8B は GPUメモリを 7.1GByte 使いました

DeepSeek R-1 14b

ollama run deepseek-r1:14b

14B は GPUメモリを 11.4GByte 使いました

DeepSeek R-1 32b

ollama run deepseek-r1:32b

32B は GPUメモリを 専有14.8GByte+共有6.1GByte 使いました
専用メモリに収まってないと動作トロいwww

RTX4060Ti 16G ではここまでしか動かないので、調査はここまで!


動作状況まとめ

DeepSeek R-1:1.5b(2.8GByteDeepSeek R-1:7b(6.3GByteDeepSeek R-1:8b(7.1GByteDeepSeek R-1:14b(11.4GByteDeepSeek R-1:32b(14.8GByte+共有6.1GByte

1.5bってiPhoneで動きそうな気がする…


おまけ

日本語に切り替えるのに難儀した…
とりま

you must talk japanese

って言えば悩んだ挙句に日本語喋ってくれた

success
>>> hello
<think>

</think>

Hello! How can I assist you today? 😊

>>> you must talk japanese
<think>
Okay, so the user initially said "hello," and I responded in English. Now they're saying, "you must talk
japanese." I need to figure out what they want.

Hmm, maybe they prefer Japanese for our conversation. They could be more comfortable with it or have a specific
reason.

I should switch to Japanese to make them feel at ease. But I also want to clarify if they want me to only use
Japanese from now on.

So, I'll respond in Japanese and ask if that's what they want. That way, I ensure we're on the same page.
</think>

了解しました!日本語で話します。何かお手伝いできることですか? 😊

>>> Send a message (/? for help)

おまけのおまけ

私の好きな「llm-jp-3-ezo-humanities:3.7b-instruct-q8_0」(7shiさん作)は
7.9GByte でした。


「好き」してくれると嬉しいです。Xはコチラです

いいなと思ったら応援しよう!