「text-generation-webui」で「RWKV」を試してみたので、まとめました。
【最新版の情報は以下で紹介】
1. text-generation-webui
「text-generation-webui」は、大規模言語モデルのWeb UIです。LLaMA、llama.cpp、GPT-J、Pythia、OPT、GALACTICAなどの大規模言語モデルをローカルで実行できます。
2. インストール
「text-generation-webui」のインストール手順は、次のとおりです。
(1) 「oobabooga-windows.zip」をダウンロードして解凍し、C:¥直下に配置。
「ファイル名が長すぎます。」エラーがでたためC:¥直下に置いてます。
(2) 「start_windows.bat」の実行。
インストール種別を聞かれたら、A (NVIDIA)を指定します。NVIDIAのGPUがない場合はD (CPU) で良さそうです。
A) NVIDIA
B) AMD
C) Apple M Series
D) None (I want to run in CPU mode)
Input> A
ダウンロードモデルを聞かれたら、M (なし) を指定します。
A) OPT 6.7B
B) OPT 2.7B
C) OPT 1.3B
D) OPT 350M
E) GALACTICA 6.7B
F) GALACTICA 1.3B
G) GALACTICA 125M
H) Pythia-6.9B-deduped
I) Pythia-2.8B-deduped
J) Pythia-1.4B-deduped
K) Pythia-410M-deduped
L) Manually specify a Hugging Face model
M) Do not download a model
Input> M
インストール成功すると、「text-generation-webui」フォルダができてます。
3. モデルの準備
モデルの準備手順は、次のとおりです。
(1) HuggingFaceからRWKVのモデルをダウンロードし、「text-generation-webui/models」に配置。
・RWKV-4-Raven-7B-v10-Eng89%-Jpn10%-Other1%-20230420-ctx4096
(2) 「20B_tokenizer.json」をダウンロードし、「text-generation-webui/models」に配置。
4. 実行
実行手順は、次のとおりです。
(1) 「cmd_windows.bat」の実行。
(2) 「server.py」を実行。
$ python server.py --chat --model-menu
(3) URLが表示されたらブラウザで開く。
Running on local URL: http:
【おまけ】 server.py のパラメータ
server.py のパラメータは、次のとおりです。