はじめに
OllamaでLlama3.1が利用できるようになったので、試してみました。
コマンドラインで簡易的に利用する場合は、Windows/Linux関係なくOllamaのgithubリポジトリから「OllamaSetup.exe」でインストールし、
ollama run llama3.1
とするだけで8Bモデルでチャットできます。GUIで本格的に利用する場合(Ollama Open WebUI)は、下記事で詳細に紹介しています。
準備
下記モデルを利用します。
ollama pull llama3.1
日本語での利用テストを行うので、モデルファイルのテンプレートを書き換えています。
動作テスト
星条旗を描かせてみる
下記事と同じ事を試しました。
日本語チャット
他にも幾つか試してみましたが、多言語が強化されているようで、Llama3の時のように(日本語を指定しても)英語で回答してしまう事が無くなったように感じます。
まとめ
家庭用パソコンローカル利用の場合は8Bモデルが現実的な規模なので、8B&日本語で試す限り、他モデルと比べて飛躍的な性能差があるわけではなさそうです。しかしコンテキストサイズが128kに対応しているため、Llama3の8kと比べて多くの利点があると思います。
※ 実際はRTX 3060(12G)の場合、メモリに収まる最大のコンテキストサイズは24k〜32kですgg