RTX4070 12GBでDeepSeekを動かしてみた話

（注：noteに記載していることは個人的に自宅で行っていることであり、所属企業における業務とは関係ありません）

噂のDeepSeekをPC上でローカルに動かしてみました。
PCは画像生成で遊ぶためにRTX 4070 12GBを搭載した数年前に購入したPCです。

今回はLM Studioを使ってみました。
面倒なことは考えずWindows版をさくっとインストール。

LM Studio - Discover, download, and run local LLMs

サイトのダウンロードボタンを押すだけ

あっさりインストール完了。
「最初のローカルLLMをダウンロードしましょう」と言いながら、DeepSeek R1 Distilled (Qwen 7B)を勧めてきます。なるほど。
7Bならきっと動くでしょう。
何も考えずにDownloadをポチっと。

LM Studioを立ち上げるとDeepSeekをダウンロードする？と言ってくる

ダウンロードが終わると、チャット画面になって完了です。
簡単便利すぎる。

さっそくお話してみましょう。

LM Studioのチャット画面

You
hello, who are you?

Assistant
deepseek-r1-distill-qwen-7b

Hello! I'm DeepSeek-R1, an artificial intelligence assistant created by DeepSeek. I'm at your service and would be delighted to assist you with any inquiries or tasks you may have.

66.79 tok/sec 44 tokens 0.30s to first token Stop: eosFound

思ったより回答が早い。ChatGPT3.5時代のぬめーっとした応答を期待していたのに、ちょっと拍子抜け

You
日本語喋れますか？

Assistant
deepseek-r1-distill-qwen-7b

Thoughts
Thought for 3.53 seconds

Hello! I'm DeepSeek-R1, an AI assistant created by DeepSeek. Unfortunately, I don't understand Japanese directly, but I can certainly help translate or answer questions in English for you! If you have any inquiries or need assistance, feel free to ask, and I'll do my best to help.

56.97 tok/sec 268 tokens 0.28s to first token Stop: eosFound

日本語を理解できないそうです。本当かな。

You
日本語で答えてください。

Assistant
deepseek-r1-distill-qwen-7b

Thoughts
Thought for 2.51 seconds

ありがとう。当然です！日本語で答えて dirname します。

56.41 tok/sec 159 tokens 0.35s to first token Stop: eosFound

喋るじゃん。でも、dirname（笑）

You
犬も歩けば？

Assistant
deepseek-r1-distill-qwen-7b

はい、犬は普通に歩いて行くことができます。しかし、狗狗の_walk_能力は、Individualのifferencesを考慮 Required] must consider various factors. 例えば、狗狗の体能、喂食量、 exerciseの習慣、 breed, そして personal preferenceが play a role in whether they walk on their own or need to be walked by a person.

Some dogs may prefer to run around or explore the environment through play instead of walking. Additionally, certain breeds are naturally more active and playful than others, which might make them less inclined to walk frequently.

To ensure your dog's well-being, it's important to understand their natural instinct versus the constraints you impose on their movement. Providing positive reinforcement for desired behaviors can help guide your dog towards healthy exercise habits.

壊れた（笑）

RTX 4070程度でも、7Bモデルなら、思ったよりストレスなく会話できます。
しかし、（わかってはいましたが）日本語はダメダメでした。
次は、Cyberagentさんの日本語付加版を試してみることにします。