ローカルLLMを試したい

はじめに

DeepSeekすげーすげーと噂されているので試してみたいわけです。

Goole Colab (無料枠)

まずは Google Colab で。T4 GPU を設定します。

以下を参照させていただきました。

!apt-get update
!apt-get install -y pciutils

!curl https://ollama.ai/install.sh | sh

!echo 'debconf debconf/frontend select Noninteractive' | sudo debconf-set-selections
!sudo apt-get update && sudo apt-get install -y cuda-drivers

!nohup ollama serve &

!ollama pull deepseek-r1:1.5b

!pip install ollama

import ollama
response = ollama.chat(model='deepseek-r1:1.5b', messages=[
  {
    'role': 'user',
    'content': 'Hello!',
  },
])
print(response['message']['content'])

<think>
</think>
Hello! How can I assist you today? 😊

出力結果

LM Studio

Google Colab上で無事に動いてくれたわけですが、
無料枠の制限はあるし、起動の度に諸々ダウンロードするのは面倒です。

そこで、LM Studio の方を使ってみることにしました。

deepseek-r1-distill-qwen-7b Q4_K_M

を推奨されたので、深く考えずダウンロードしたところ…

？？？

なぜスペイン語？

この文章はスペイン語です。
日本語に翻訳すると、「こんにちは！😊 今日、どのようにお手伝いできますか？」となります。

念の為、ChatGPTさんに聞いてみました

日本語、英語、中国語だったらまだ分かるのですが…。

まとめ

とりあえず動いた段階で、まだほとんど検証できていません。ショボいモデルとはいえ、もう少し触ってみたいです。

DeepSeekを体験してみたい、というモチベーションだけでなく、
AIエージェントって（所詮バズワードで定義が曖昧と思っていますが）、裏で勝手にLLMをこき使うのでAPI利用料が問題で、じゃあローカルでLLM持っておけば良くない？と考えた次第です。
ちょっと実験する程度でも構わないので使えないかな、と淡い期待をしていましたが、エージェント用途だと厳しそうです。