GGUFフォーマットのAI言語モデルをollamaに変換する方法

GGUFフォーマットのAI言語モデル

Hugging Faceに行くとGGUFフォーマットのAi言語モデルが多数公開されています。
今回はGGUFフォーマットをollamaに変換して使用する方法をお伝えします

GGUFの入手

日本語が使えるGGUFをいくつか紹介します

mmnga/rinna-youri-7b-gguf at main

mmnga/rinna-youri-7b-chat-gguf at main

elyza/Llama-3-ELYZA-JP-8B-GGUF at main

QuantFactory/shisa-7b-v1-GGUF at main

TheBloke/Swallow-7B-Instruct-GGUF at main

TheBloke/japanese-stablelm-instruct-beta-7B-GGUF at main

GGUFダウンロード

例としてここから
rinna-youri-7b-q4_K_M.gguf
をダウンロードしてみましょう

mmnga/rinna-youri-7b-gguf at main

モデルによって容量が違うの、自分のCPU,GPUに合わせて選んでください。

例としてダウンロードしたファイル（rinna-youri-7b-q4_K_M.gguf）はc:\ollamaに保存します（どこに保存しても構いません）
次に変換用のファイルを用意します。
名前をModelfile.txtとしてください。同じくc:\ollamaに保存します。
１行目にダウンロードしたファイルをパス付で指定します。それ以外はこのまま写してください。

FROM ./rinna-youri-7b-q4_K_M.gguf
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"

ファイルも添付しておきます。

Modelfile.txt

404 Bytes

ファイルダウンロードについて

ダウンロード

コマンドプロンプトを開いてc:\ollamaに移動します。
ollama create <モデル名> -f Modelfile.txt
と入力します。モデル名は任意ですが、GGUFのファイル名と合わせておいた方がモデルが増えたときに分かりやすいです。

変換

今回はこのように入力します。
ollama create rinna-youri-7b-q4_K_M -f Modelfile.txt

C:\ollama>ollama create rinna-youri-7b-q4_K_M -f Modelfile.txt
transferring model data
using existing layer sha256:bba1658c30d12ddc2ba9f3b291223186f2f5d061128a02b276b027572b092df7
using existing layer sha256:8ab4849b038cf0abc5b1c9b8ee1443dca6b93a045c2272180d985126eb40bf6f
using existing layer sha256:56bb8bd477a519ffa694fc449c2413c6f0e1d3b1c88fa7e3c9d88d3ae49d4dcb
using existing layer sha256:85cfbf1b16d7784cd12e4c594693e31ecf1bc20446b3d7062506b04913c2d0ee
writing manifest
success

これで完成です。
あとは通常のollamaの使用方法と同じです。

ollama run rinna-youri-7b-q4_K_M

---

まとめ

Hugging Face等にGGUFフォーマットのAI言語モデルが多数アップされています。日々増えていくので確認が追いつきません。
それぞれ、能力や得意とする分野があるので、皆さんも自分の用途に合わせてモデルを探してみてください。