見出し画像

【ローカルLLM】GPUなしで文章生成AIを動かしたらどこまでまともに使えるのか。Llama-3-ELYZA-JP-8B

みーと。【PC・ガジェット・AI解説】

はじめに

　GPUを使用せずに文章生成AIを実行することは可能なのか。GPUなしでローカルLLMを実行して、その実用性を検証しました。本記事では、ローカルLLMならではの解析結果や具体的な使用例、また機能の制約や改善点などを詳しくご紹介します。文章生成AIを導入したいけれども、GPUを使用する環境がない方にとっても参考になる内容です。

実行環境

PC本体の性能

  • CPU：Core i7-13700

  • GPU：CPU内蔵グラフィック（Intel UHD Graphics 770）

  • メモリ：16GB

  • OS：Windows11 Home

使用するソフトウェア

  • Ollama：v0.1.48

  • OpenWebUI：v0.3.6

  • Node.js：v20.13.1

  • Python：v3.11.9

AIモデル

Llama-3-ELYZA-JP-8B

  • パラメータ数：80億

  • モデルサイズ：4.92 GB

https://prtimes.jp/main/html/rd/p/000000046.000047565.htmlより引用

環境の構成

１．Ollamaの導入

　まず、公式サイトからお使いのPCのOSに合わせて、インストーラーをダウンロードします。

　そして、インストーラーを実行してインストールします。

Ollamaのインストール（Windows）

２．OpenWebUIの導入の流れ

　インストーラー形式で配布されていないため、手順は難しく、別途Node.jsとPython、Gitのインストールが必要です。

２ー１．Node.jsの導入

Node.jsは公式サイトからインストーラーをダウンロードして、インストールします。ただし、バージョンは20.10以上にしてください。

２－２．Pythonの導入

Pythonも公式サイトからインストーラーをダウンロードして、インストールします。ただし、バージョンは3.11以上にしてください。
このとき、「Add python.exe to PATH」にチェックをつけることを忘れないでください。

２－３．Gitの導入

Gitも公式サイトからインストーラーをダウンロードして、インストールします。

２－４．本体（OpenWebUI）の導入

以下のコマンドを１行ずつ実行します。

git clone https://github.com/open-webui/open-webui.git
cd open-webui/
ren .env.example .env
npm i
npm run build
cd ./backend
pip install -r requirements.txt -U
start_windows.bat

３．LLMモデルの導入

まず、Hugging Faceからモデルファイルをダウンロードします。

　このモデルは、Ollama では標準サポートされていないため、モデルに関連する必要な情報を記載したファイルを作成し、そのファイルからモデルを作ります。
「Modelfile」という名前のファイルを作成し、Llama3 モデルと同じフォーマットになるように、以下の内容を記述します：

FROM ./Llama-3-ELYZA-JP-8B-q4_k_m.gguf
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"

次のコマンドを実行して、Modelfileからollamaのモデルを作成します

ollama create elyza:jp8b -f Modelfile

作成したモデルを実行するには、以下のコマンドを実行します

ollama run elyza:jp8b

これで対話型のプロンプトが開始されます。

使ってみる（コマンドプロンプト）

応答速度の検証


実際の様子（コマンドプロンプト）、等倍速

日本の伝統文化の一つを挙げ、その現代社会への影響を20文字程度で簡潔に述べてください。

プロンプト

使ってみる（OpenWebUI）

応答速度の検証


実際の様子（OpenWebUI）、等倍速

日本の伝統的な食文化の一つを挙げ、その特徴を20文字程度で簡潔に説明してください。

プロンプト応答速度の検証

UIを見てみる

PC版
スマートフォン版
モデル選択（PC）

WEB検索も可能

Googleのプログラム可能な検索のAPIキーが必要です。

ドル円の最新情報を検索して生成

まとめ

GPUなしでも実用に支障がない生成速度で自然な日本語の文章が生成できました。GPUつけたらもっと処理が速くなりそう。

いいなと思ったら応援しよう！