【最強】DifyでLlama3.1 405Bの真の力を引っ張り出す！

前回の記事では、Llama3.1という新しいAIモデルが登場したが、日本語非対応で性能が低い問題をについて解説しました。

記事ではこの問題に対し、「エセ日本人プロンプト」という手法を考案。AIに日本語を英語として理解させ、英語で考えてから日本語に翻訳する方法。これにより、アイデア考案やキャラクター作成の性能が向上できましたね。

「エセ日本人プロンプト」の問題点

前回のアプローチは確かに効果がありましたが、いくつか気になる点がありました：

1. 出力の量が減る：三段階のプロセスを経るので、どうしても最終的な出力が少なくなってしまう。

2. 本当に同じプロンプトで三つのステップを踏んでくれるの？AIが複数のプロセスでパンクして、バカになってしまうんじゃないか...という不安。

これらの問題を解決するために、今回考えついたのが...Difyでの実装です！

Difyって何？生成AIエンジニアの新たな遊び場

あ、そうそう。Difyって聞いたことありますか？
Difyは、AIアプリケーションを簡単に作れるプラットフォーム。
正直、最初は「また新しいツール？めんどくさいなぁ」って思ったんですが...使ってみたら、これがハマるんですよ。生成AIエンジニアなら、いずれ誰もがこの沼にはまるんじゃないかな（笑）。

エセ日本人プロンプトの進化：Difyでのフロー実装

さて、本題のDifyでの実装について。こんな感じのフローを組んでみました。

留学生Llamaフロー(笑)

1. ノード1：プロンプトを日本語として理解

2. ノード2：英語として思考

3. ノード3：思考結果を日本語に翻訳

4. その後のノード：Notionのデータベースに保存

LlamaモデルにNvidiaの無料モデルを使い、翻訳にはGemini 1.5 Flashを使用していること。Gemini、安いのに日本語精度が悪くないんですよ。コスパ最強じゃないですか？

精度比較：予想以上の結果に驚き

実際に使ってみて、正直びっくりしました。

日本語そのまま入力するLlama3.1より圧倒的に良い結果に

そのまま日本語を入力

英語で思考するLlama

なんと、Claude 3.5 Sonnetにも負けない創造力を発揮！
これこそLlama3.1 405Bの真の力です！
ただし、やっぱり英語で考えているのが透けて見えるんですよね。だから、日本のライトノベルより英語系っぽいSF風の小説を書くのに向いているかも。
一方、問題点としては速度が遅いですね。Notionのページに挿入する時間を含めて一回の実行で30秒ぐらいかかってしまいます💦
また、自分が書いた長文をインプットとするタスクも苦手かもしれません。どうしてでも英語に翻訳されてしまいます。 使うとしたら0→1のアイデア生成かアウトライン段階のサポートかな。

これって、逆に新たな「頭脳」を手に入れたかもしれませんね。英語ではなく、ヒンドゥー語やロシア語で考えてもらうと、その国の文化や思考の枠組みを引っ張り出せますね。これは次のToDoかな。

終わりに

Difyは単なるツールじゃないですね。私たちクリエイターの問題を解決する強力な味方になれます。
正直、最初は「また新しいこと覚えなきゃ...」ってため息ついちゃいましたけど、使ってみると楽しくて。これからもっと深く学んでいきたいと思います。

#生成AI
#AIとやってみた
#Claude
#ChatGPT
#Gemini
#プロンプト
#プロンプトエンジニアリング
#AI創作
#AIライティング
#Dify