【AXCXEPT】Phi-4-open-R1-Distill-EZOv1(14B)をローカルで使ってみた話【open-r1】
はじめに
AXCXEPT社が公開している、Microsoft Phi4モデル+Open-r1+EZO(AXCXEPT社の日本語モデル)のhuggingfaceページです
上記ページの説明によると、
つまり、Phi4の日本語対応リーズニングモデルです。
既にGGUF変換をmradermacher氏が行っているので、今回はそれを利用します。
導入
ollama+OpenWebUIで利用します。
templateが分からなかったので、デフォルトを利用します。比較的新しいバージョンのollamaコマンドでは、直接huggingfaceから読み込めます。
# ダウンロード
ollama pull hf.co/mradermacher/phi-4-open-R1-Distill-EZOv1-GGUF:Q4_K_M
# 情報表示
ollama show hf.co/mradermacher/phi-4-open-R1-Distill-EZOv1-GGUF:Q4_K_M
Model
architecture phi3
parameters 14.7B
context length 16384
embedding length 5120
quantization unknown
Parameters
stop "<|im_start|>"
stop "<|im_sep|>"
stop "<|im_end|>"
stop "<|im_start|>"
stop "<|im_sep|>"
stop "<|im_end|>"
stop "<|im_start|>"
stop "<|im_sep|>"
stop "<|im_end|>"
stop "<|im_start|>user<|im_sep|>"
デフォルト設定が適用され、次のモデルファイルで利用します。
FROM hf.co/mradermacher/phi-4-open-R1-Distill-EZOv1-GGUF:Q4_K_M
SYSTEM あなたは優秀な日本語のAIアシスタントです。
PARAMETER num_ctx 10240
TEMPLATE {{ if .System }}<|im_start|>system<|im_sep|>{{ .System }}<|im_end|>{{ end }}{{ if .Prompt }}<|im_start|>user<|im_sep|>{{ .Prompt }}<|im_end|><|im_start|>assistant<|im_sep|>{{ end }}{{ .Response }}<|im_end|>
PARAMETER stop <|im_start|>
PARAMETER stop <|im_sep|>
PARAMETER stop <|im_end|>
PARAMETER stop <|im_start|>
PARAMETER stop <|im_sep|>
PARAMETER stop <|im_end|>
PARAMETER stop <|im_start|>
PARAMETER stop <|im_sep|>
PARAMETER stop <|im_end|>
PARAMETER stop <|im_start|>user<|im_sep|>
動作確認
次の問題を解かせます。
タグが<think>ではなく<thinking>なので、そのまま表示されてしまいますが、ちゃんと日本語でリーズニングしています。
■ RAGなし
■ RAG(ネット検索あり)
まとめ
DeepSeek-r1の手法を利用したOpen-r1の日本語対応モデルです。こんなに早く実用的なモデルを公開できるのですね。
これからリーズニング対応モデルが増えそうです。
以下、関連する記事の【PR】です。