はじめに
下記事のつづきです。
他アーキテクチャに蒸留したなんちゃってDeepseek-r1モデルであっても、論理的な推論力はなかなかな実力がありそうです。
しかし、前回の記事の通り、蒸留モデルは何かと日本語の扱いが下手くそなので、そのままではほとんど利用価値がありません。しかし工夫すれば化けました。
OpenWebUIのバージョンを上げる
性能が上がるわけではありませんが、OpenWebUIを最新(0.5.6)にすると、<think></think>タグを認識してo1モデルっぽい表示になります。
リーズニング部は英語もしくは中国語になるので、デフォルトで非表示になってくれるのは良いと思います。
他モデルで推敲する
OpenWebUIはコンテキスト(文脈)途中で簡単に他モデルに変更できます。deepseek-r1モデルで出力した、中国語になったり、英語になったり、ハングルやアラビア混じりの出力を整形できます。
たとえば、最近リリースされたMicrosoft Phi-4モデルで推敲させます。
さらにDeepseek-r1に戻して文脈を続ける事も可能です。
同じ事の繰り返しで、出力後にPhi-4で整形します。
まとめ
画像生成AIと同様に、ローカルでAIを活用する場合、さまざまな言語モデルを自由に切り替えながら、何度でも利用することが可能です。
例えば、内容がプログラミングに関するものであれば、途中でCoderモデルを利用したり、数学的な問題にはMathモデルを使用したりすることができます。また、特定のRAG(Retrieval-Augmented Generation)に基づくモデルに切り替えることも有効です。
生成結果が満足いかない場合は、削除することで文脈をリセットできます。単にプロンプトを修正するだけでなく、複数のモデルを組み合わせることで、目的の生成物を効果的に得られます。
ローカルの強みは、画像生成と同じですね。
以下、関連する記事の【PR】です。