Llama3-8Bやphi3-miniなど小型モデルの弱点をDifyで解決する

今回はこんなんでやると便利だよというだけの話です。

小型LLMの弱点

Llama3-8Bやphi3-miniなど小型でありながらGPT3.5以上、GPT-4にも迫る勢いのLLMが登場しだしました。小型なので、ローカルでの動作が容易で、私のMac（Intel系なのでGPUも使えず、16GBしかメモリを搭載していない）でも動きます。

しかし、高い精度は「英語」でのやりとに限定されます。非英語で行うと極端に性能が下がります。

Difyで解決

そこでオープンソースのDifyです。クラウド版は回数制限ありの有料となっていますが、DockerとOllamaを使ってローカルで動かせば無料で無制限に使えます。

ワークフロー

若干見にくいですが、「開始」で私の入力を待ちます。
私は日本語で入力します。

（1）私の入力がLLM1に送られます。
このLLMのシステムプロンプトは「日本語→英語」のプロの翻訳家です。
ここでの出力は英語です。

（2）英語の翻訳結果はLLM2に送られます。
このLLMのシステムプロンプトは「優秀なAI」です。英語なので高精度で処理されます。
ここでの出力は英語です。

（3）その出力がLLM3番に送られます。
このLLMのシステムプロンプトは「英語語→日本語」のプロの翻訳家です。
ここでの出力は日本語です。

（4）最終的な結果がチャットに表示されます。

とまあこのようにDifyで一連のワークフローを組めば手間なく小型モデルの弱点を解決できます。お試しあれい。