見出し画像

【AXCXEPT】Phi-4-open-R1-Distill-EZOv1(14B)をローカルで使ってみた話【open-r1】

はじめに

AXCXEPT社が公開している、Microsoft Phi4モデル+Open-r1+EZO(AXCXEPT社の日本語モデル)のhuggingfaceページです

上記ページの説明によると、

Deepseek-R1のDistill手法を模倣した、open-r1を採用して、phi-4モデルを Reasonerにしたモデルです。特に日本語に特化させているため、原則日本語で回答します。 英語を織り交ぜることでより柔軟にすることが可能です。

引用:https://huggingface.co/AXCXEPT/phi-4-open-R1-Distill-EZOv1

つまり、Phi4の日本語対応リーズニングモデルです。

既にGGUF変換をmradermacher氏が行っているので、今回はそれを利用します。

導入

ollama+OpenWebUIで利用します。

templateが分からなかったので、デフォルトを利用します。比較的新しいバージョンのollamaコマンドでは、直接huggingfaceから読み込めます。

# ダウンロード
ollama pull hf.co/mradermacher/phi-4-open-R1-Distill-EZOv1-GGUF:Q4_K_M

# 情報表示
ollama show hf.co/mradermacher/phi-4-open-R1-Distill-EZOv1-GGUF:Q4_K_M
  Model
    architecture        phi3       
    parameters          14.7B
    context length      16384
    embedding length    5120
    quantization        unknown

  Parameters
    stop    "<|im_start|>"
    stop    "<|im_sep|>"
    stop    "<|im_end|>"
    stop    "<|im_start|>"
    stop    "<|im_sep|>"
    stop    "<|im_end|>"
    stop    "<|im_start|>"
    stop    "<|im_sep|>"
    stop    "<|im_end|>"
    stop    "<|im_start|>user<|im_sep|>"

デフォルト設定が適用され、次のモデルファイルで利用します。

FROM hf.co/mradermacher/phi-4-open-R1-Distill-EZOv1-GGUF:Q4_K_M

SYSTEM あなたは優秀な日本語のAIアシスタントです。
PARAMETER num_ctx 10240

TEMPLATE {{ if .System }}<|im_start|>system<|im_sep|>{{ .System }}<|im_end|>{{ end }}{{ if .Prompt }}<|im_start|>user<|im_sep|>{{ .Prompt }}<|im_end|><|im_start|>assistant<|im_sep|>{{ end }}{{ .Response }}<|im_end|>
PARAMETER stop <|im_start|>
PARAMETER stop <|im_sep|>
PARAMETER stop <|im_end|>
PARAMETER stop <|im_start|>
PARAMETER stop <|im_sep|>
PARAMETER stop <|im_end|>
PARAMETER stop <|im_start|>
PARAMETER stop <|im_sep|>
PARAMETER stop <|im_end|>
PARAMETER stop <|im_start|>user<|im_sep|>

動作確認

次の問題を解かせます。

問題: 教室には5人の生徒(A, B, C, D, E)がいます。以下の情報に基づいて、それぞれの生徒の席順を決めてください。



AはCの隣に座っています。 BはEの右隣に座っています。 DはAとBの間に座っています。 質問: 各生徒の正しい席順を答えてください。

答えは(たぶん):E B D A C by 非人工知能を持つ筆者

タグが<think>ではなく<thinking>なので、そのまま表示されてしまいますが、ちゃんと日本語でリーズニングしています。

先生の方向から生徒を見れば正解


ムスカ大佐は何故目が見えなくなったのですか?

by 筆者

■ RAGなし

■ RAG(ネット検索あり)

まとめ

DeepSeek-r1の手法を利用したOpen-r1の日本語対応モデルです。こんなに早く実用的なモデルを公開できるのですね。

これからリーズニング対応モデルが増えそうです。

以下、関連する記事の【PR】です。



いいなと思ったら応援しよう!