AI：GPU なしのノート PC で簡単にローカル LLM を試す～ DeepSeek-R1

2025年2月3日 01:02

まえがき

GPU なしでも大規模言語モデル（LLM）を動かすことができる DeepSeek-R1 が話題ですね。

セキュリティの懸念も取りざたされていますが、みなさんそんなにもれちゃダメな情報を AI さんに突っ込んでるんですかね？（￢＿￢）

それはともかく、GPU なしでローカルで動くというのは魅力的です。

簡単に試せるのでやってみましょう。

0から始めて30分～1時間もあれば動くと思います。

大半はモデルとかのダウンロード待ち時間であり、作業自体はほとんどありません。

説明は windows11 ですが、Mac や Linux でも同様にできるでしょう。

PC は ThinkPad P14s Gen 5 AMD （8840HS 32G/512GB）です。

Ollama は、ローカル環境で大規模言語モデル（LLM）を簡単に動かすことのできるプラットフォーム OSS です。

まずはこれを以下からダウンロードして実行し、インストールします

無事終了したら、コマンドプロンプトを立ち上げます。

エクスプローラーで "cmd" + リターンとするのが楽です。

まず正常にインストールされたか確認します。

ollama --version

と打ち込んでバージョンが表示されればOKです。

Microsoft Windows [Version 10.0.26100.2894]
(c) Microsoft Corporation. All rights reserved.

C:\>ollama --version
ollama version is 0.5.7

C:\>

Ollama のサイトでも deepseek-r1 が用意されていますが、少なくとも一番軽い 1.5b を試したところ、日本語はボロボロでした。

サイバーエージェントさんとかが日本語追加学習させたモデルを公開しているので、そちらを使いましょう。

ただそのままだと Ollama で扱える形式にはなっていないので、gguf フォーマットに変換する必要があります。

これは結構面倒そうなのですが、すでに変換してくれている方々がいらっしゃいますので、そちらを使わせて頂きましょう。

使いたいモデルのページに行き、右上の "Use this model" をクリック、"Ollama" を選択します。

するとさらに各サイズのモデルを選べるようになっているので選択し、"Copy”をクリックすればコマンドがコピーされます。

どれがよいかは試してみないと分からないのでなんともいえません。(^_^;)

私が選んだのは以下の 14B、Q5_K_M

コマンドは以下のようになります。

ollama run hf.co/bluepen5805/DeepSeek-R1-Distill-Qwen-14B-Japanese-gguf:Q5_K_M

これを Windows のコマンドプロンプトで実行します。

初回はモデルのダウンロードが入るので時間が掛かりますが、それ以降は同コマンド実行後数秒で開始されます。

>>> Send a message (/? for help)

と表示されれば準備 OK です。

「MATLABを使ってオーディオ信号処理アルゴリズム開発をするメリットとデメリットは？」

と打ち込んでみました。

CPUは平均80%ぐらいですがほぼフル稼働、12分くらい掛かりました。

以下のビデオは8倍速です。

軽そうな 7B、IQ1_M も入れてみましたが、こちらは途中で暴走してしまいました。(^^;

ローカル実行なので情報漏洩リスクはないかと思いますが、プログラムコード出力とかはちゃんとその内容をチェックしてから使った方がよいでしょう。