はじめに
Gemma2がollamaで利用可能になったため、9Bモデルをローカルで試してみました。(gemma2:9b-instruct-q6_K)
Gemma2とは
性能チェック
いまだかつて一度もLLMで100点の回答を得た事のない質問に関して、一発で100点満点を出しました。(※ RAGも含めて事前知識なし)
確かに知識としてのLLMの正しさはあまり評価として意味がないものかもしれませんが、質問に対してすべて的確に正しく答えました。これは9BモデルでChatGPT-4に(日本語で)匹敵するという噂は本当かもしれません。
ちなみに他のモデルでは、
筆者の経験として、日本語(ローカル)LLM最強はQwen2でしたが、正味の日本語能力はGemma2の能力の方がかなり上かもしれません。
ただし、Gemma2 (9b) の扱えるトークン数が8kなので、Qwen2 (筆者ハード環境では24k・モデル最大32k)はやはり強いです。※ RAGを利用すると大量に利用できるトークンを消費するので、最大32kはかなり利用できます。
【以下PRです】
ollama Open WebUIの使い方
各種AIソフトウェアのインストール方法