レポート：Athene-70Bを試してみた＆ Ollamaで動かしてみた

昨晩流れてきたポスト

🚀 Introducing Athene-70B: Redefining Post-Training for Open Models!

We’re thrilled to release Athene-Llama3-70B, an open-weight chat model fine-tuned from @AIatMeta 's Llama-3-70B.

With an impressive Arena-Hard score of 77.8%, Athene-70B is approaching top proprietary models… pic.twitter.com/1RQ0azWlDs

— Nexusflow (@NexusflowX) July 19, 2024

Athene-70Bがとってもいい性能でリリースされたというニュースでした。
続くポスト

The model is available under @lmsysorg https://t.co/PXMa6BLvbE direct chat section with name currently 'im-a-little-birdie'. The name will be changed to Athene-70B soon!

— Nexusflow (@NexusflowX) July 19, 2024

で　https://chat.lmsys.org/　で動かすことができるということで触ってみたら、日本語もすぐに問題なくでてきて、元のLlama-3よりも良さそうな印象でした。

そこでローカルで動かすためにOllamaを使ってみました。
手順は下記のとおり。

モデルをダウンロード、今回は量子化された Q4_K_Mで。

huggingface-cli download bullerwins/Athene-70B-GGUF Athene-70B-Q4_K_M.gguf --local-dir .

ollamaのLlama3のモデルファイルを参考にして、Athene-79B用のモデルファイルを作成

FROM ./Athene-70B-Q4_K_M.gguf

TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>
"""

PARAMETER stop "<|begin_of_text|>"
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"

ollama用のモデルへと変換

ollama create athene-70b:q4_k_m -f modelfile

Sucessとなったので、いつもどおり、Page Assistで動かしてみます。

Q4_K_Mにダウンサイズしましたが、いい感じですね。

続けて会話例

User: 人生の意味を論じて

人生の意味：多様で深遠な探求

人生の意味について語ることは、古代より哲学者、思想家、芸術家、その他多くの人物に引き寄せられてきた普遍的かつ複雑な問いです。答えは一義的なものではなく、個々の人生経験や価値観によって大いに異なるため、私たちは共同して探求を深めていくことになります。

主要なアプローチ

1. 目的志向：

   • 成長と達成: 自己実現や目標の達成における意味を見出す人々。

   • 愛と連帯: 他者とのつながり、家族、友情、共同体での関係性において見いだされる価値。

2. 経験志向：

   • 美と感動: 芸術、自然、あるいは単に生きた経験そのものの豊かさによって定義づけられる意味。

   • 悟りと成長: 挑戦や試練を通じた自己認識と内面的成長における深み。

更なる考察

• 相対性と多様性： 人生の意味は文化、信仰体系、個人的な経験に根ざすため、包括的で尊重ある理解が不可欠です。

• 流動性と進化： 人生の意味は時間とともに変化し、成長を通じて発展することを認識します。

• パラドックスとしての不確実性： 確実な答えを見つけることができないと同時に、それを模索する行為がこそ人生の意味の一部であるとみることもできます。

結論としてではなく、出発点として

人生の意味についての探求は、個々の人生において最も重要かつ継続的な問いであり続けます。この対話での目的は、絶対的な「答え」を見つけ出すことではなく、新たな視点や洞察を通じて、自分自身と他者の考え方をより深く理解することにあります。自分の人生の意味について、何が最も大切であるかを自ら問い続け、常に成長し、相互に学ぶことで、私たちは一緒にこの複雑で美しい謎解きを行います。

あなたには

• 人生の意味に関するあなたの信念や経験は何ですか？

• あなたが最も大切にする価値や目標は何ですか？

• この探求を通じて、新たに気付いたり学んだことはありますか？

User:メタファーを使って説明して

人生の意味：輝く宝石のように揺れ動く

人生の意味は、 多面体の宝石 のようなものです。各個人は、自分なりの視点から光を当てることで、異なる顔や深みを見つけることができます。

• 面1：目的志向 - 明確な頂点

  • 自己実現や目標達成が頂点に輝くとき、それは意味の確固たる軸を形成します。

• 面2：経験志向 - 色鮮やかな光沢

  • 芸術、自然あるいは生きた経験が宝石内部で踊り交じると、生きること自体が美しくて満ち足ります。

• 面3-∞：個々の顔 - 輝きを増幅する無限の反射

  • 文化や信仰、個人的経験など異なるアプローチが宝石全体に複雑な光沢を作り出し、意味の多様性を明らかにします。

揺れ動く宝石 - 流動性と発見

• 回転：時間における進化

  • 宝石は時と共に回転し、新しい面が現れることで、私たちは成長と変革の中で意味を見つめ直すことを学びます。

• 反射：内省と洞察

  • 光が宝石内部で跳ね返ると、我々は新たな理解を通じて自分自身と他者に触れ合い、共感を深めます。

結論としてではなく、宝箱を開く行為

人生の意味に関するこのメタファーでは、確固たる「答え」があるのではなく、私たちは 常に揺れ動く宝石の探索者 です。新しい視点を迎えることで光沢が増し、相互理解を通じて輝きが広がります。あなた自身の人生における宝石は、今何の顔を向けていますか？それはどのように回転し、新たな光沢を生み出していますか？

あなたには

• あなたの宝石には今、何面が最も明るく輝いていますか？

• 時間と共にその宝石が回転したとき、どのような新しい理解や洞察がありましたか？

• 他者の宝石を見つめ直すことで、私たちは共通の美しさを発見する機会をいかに創造しますか？

---

なかなか饒舌です。宝石のメタファーが生成されたのは、他のLLMsと比較するとわりと珍しい生成ですね。

---

では、マンダラチャート改を試してみます。

You are a "Mandala-chart Creator". Your goal is to create a mandala chart. Based on the given word(phrase) and mode ("Task/T" or "Association/A"), if the mode is "Task", divide the word(phrase) into up to 8 subtasks or an action plan in the appropriate order, and if the mode is "Association", generate and display up to 8 associated words in numbered placeholders from {step.1} to {step.8}. Then, display it according to the output format below.

Prepare placeholders to store {the previously generated sentence} and {previously used mode}.

The output format is as follows:
-1 Display {step.1} ... {step.8} in step number order.

-2 Display as a mandala chart. Specifically, write the value of the specified {step number} placeholder in the cell of the table below and display it in table format.Do not display in codebox.

  ### Mandala chart of [given word]
|[given word]|[given word]|[given word]|
|------------|------------|------------|
|4.{the value of step.4} | 5.{the value of step.5} | 6.{the value of step.6}|
|3.{the value of step.3} | [given word]| 7.{the value of step.7} |
|2.{the value of step.2} | 1.{the value of step.1}  |8.{the value of step.8} |

-3 Ask for the next word(phrase) and mode, or the number for creating a mandala chart. When receiving input from the user, if the input is only [a number], it represents the step number generated in the previous mandala chart. In that case, assign the value of {step.[number]} as new [the given word]. Also, if no mode is specified, adopt [the previously used mode].So just proceed.
(Update the previously generated sentence and previously used mode each time a mandala chart is created.)

Ask me for the first word(phrase) and choose either task decomposition ("Task" or "T") or associated words ("Association" or "A").

最初の応答

What would you like to create a Mandala chart for? Please enter a word (or phrase) and mode ("Task"/"T" or "Association"/"A"). For example: "Personal Growth T" or "Mindfulness A". Go ahead!

(Note: I'll store the previously generated sentence and mode, ready to adapt as we go!)

User: ランチ、Task

順番もあってそうです！　スゴイですね。

では、６番の調理の連想を試してみます。

User: 6, A

いい感じですね。
では、連想モードのまま、夏休み　の連想してくれるか試します。

User: 夏休み

内容から見て、期待していた通り、連想モードで作られたみたいですね。

ChatGPT3.5では無理だった、このプロンプトがローカルで動くってスゴイ進歩だと感じます！

オリジナルモデル

Nexusflow/Athene-70B · Hugging Face

使った量子化モデル

bullerwins/Athene-70B-GGUF · Hugging Face

---

#AI #AIとやってみた #やってみた #Huggingface #ローカルLLM #Ollama