Reflection Llama-3.1 70B, Ollama

概要

Reflection Llama-3.1 70B

今週、瞬く間に下記のpostが駆け回りましたね。
Llama 3.1 405B を圧倒的に凌駕する70B modelとのことで、70Bくらいまで小さくなると4bit量子化程度で一般的なPCで動作可能です。

I'm excited to announce Reflection 70B, the world’s top open-source model.

Trained using Reflection-Tuning, a technique developed to enable LLMs to fix their own mistakes.

405B coming next week - we expect it to be the best model in the world.

Built w/ @GlaiveAI.

Read on ⬇️: pic.twitter.com/kZPW1plJuo

— Matt Shumer (@mattshumer_) September 5, 2024

すぐにollamaで対応していましたので、とりあえず触ってみます。

reflection

実施内容

0. 環境

OS：Windows 11
CPU：Intel(R) Core i9-13900KF
RAM：128GB
GPU：RTX 4090 (24GB)

1. Ollama install

OllamaのWindows用のexeファイルをダウンロード、実行。

2. ollama run reflection:70b

"ollama run reflection” or "ollama run reflection:70b" と入力するだけ。

reflection:70b

ollama run reflection:70b

3. Chat

>>> こんにちは
</thinking>

<output>
Konnichiwa! (こんにちは) That's the traditional Japanese greeting for "good day" or "good afternoon". It's
commonly used during the daytime hours, roughly from late morning to early evening.
</output>

>>> 日本語でお話ししてください。
</thinking>

<output>
私はAIの日本語モデルです。日本語で会話することができます。
どこについて話したいと思いますか？ニュース、文化、歴史、何でもOKです。
</thinking>

>>> 今後のLLMの事業活用はどのように進むと思いますか。
</thinking>

<output>
LLMs（Large Language Models）の将来的な事業活用について考えるに当たって、以下のような展開が予想されます。

1. AIアシストント: LLMsは、人々の仕事を補助するAIアシストントとして広く使われることになると思います。特に文字起
こし、マーケティングコピーの作成、翻訳業務などにおいて大いに貢献します。

2. チャットボット: LLMsは、高度なチャットボットの開発に向けて使われます。これにより、企業のカスタマーサービスが
大幅に向上する予測です。

3. コンテンツジェネレーター: LLMsは、自動的に高品質のコンテンツを生成できるため、マスメディアやディジタルパブリ
ッシングの分野で大きなインパクトを与えることになると思います。

4. ヘルプアシスト: LLMsが医療や法律などの専門分野でのヘルプアシストントとして使われると、専門家の負担軽減に役立
つと思います。

5.教育ツール: LLMsは、新しいタイプのインタラクティブな教育ツールを作成することを可能にします。これにより、学生達
がより効果的に学習できる環境が整備される予測です。

6.ilingual Support: LLMsが多言語に対応することで、グローバル化されたビジネスでのコミュニケーションを大幅に向上さ
せることができます。

7.自動翻訳: LLMsが高品質の自動翻訳機能を持つため、異なる言語間の情報共有が大いに促進されます。

4. 所感

動作可能といっても性能を実感できるほど回すには少々重いです。