GPT-4oと同性能のオープンソースなＡＩって？

AIの進化はほんとに止まらないですね。
今度はLlama3.1がリリースされたようです。
どうやら、このLlama 3.1はGPT-4oと同程度の性能らしいのでこれまたすごいですよね。

Llama3.1はMETA社がリリースするオープンソースで動作するAIです。
Open AIよりもオープンなのが凄いですね・・・ｗ

METAはWhiteboxやデータセンターについてもOpen化で進めてきたのでAIに関してもぶれないですよね。
Open AIとGoogle、Anthropicの独占状態になるとコスト高すぎてやってられないですもんね。

ただし、どうやらLlama3.1の主要言語には日本語が含まれていないそうです。

えーじゃあ日本語で質問しても返答無いのかい・・・と思うかもしれませんが、日本語にもしっかり応答してくれます。

どういうことって感じですが、Tokenの学習に差分があります。
英語での学習があれば、appleやらorangeとかを1tokenとして単語で学習していきます。

これで学習すれば英語での1tokenはいいのですが、日本語を理解してないと、り・ん・ごのように1文字1tokenになった状態での学習になってしまいます。

りんごで1tokenとして学習すれば効率がいいのですが、り・ん・ごと3tokenにすると、非効率ですよね。

なので、日本語で答えてとかにすると応答が遅くなってしまいます。

ローカルで試そうと思ったんですが、日本語対応してないなら今のELYZAでいいよね～と思ってたら・・・サイバーエージェントが日本語対応のLlama 3.1 70Bをリリースしてました！

早い…

【モデル公開のお知らせ】
Llama 3.1 70Bをベースに日本語データで追加学習を行ったLLMを公開しました。 今後もモデル公開や産学連携を通じて国内の自然言語処理技術の発展に貢献してまいります。
https://t.co/Kbo27kSSAK

— サイバーエージェント　広報＆IR (@CyberAgent_PR) July 26, 2024

この際だから試すかな～と思ったら・・・70BなのでGPUのメモリが40G必要ということなので断念。。。
少し探してみたんですが、7Bモデルはまだ日本語対応されてませんでした。

うーんということで今回はローカルのELYZAをDify経由で使えないかなと思って試してみようかと思います。