vicuna-13b-4bitを試したメモ
text-generation-webuiのインストール
とりあえず簡単に使えそうなwebUIを使ってみました。
One-click installersで一式インストールして楽々です
vicuna-13b-4bitのダウンロード
download-model.batを実行して、https://huggingface.co/eachadea/ggml-vicuna-13b-4bitをダウンロード…しようとしたのですが、フォルダは出来るけどbinファイルはダウンロードできてませんでした。
なので別にダウンロードして作られたフォルダに放り込みました。
実行してみる
start-webui.batを実行して、モデルを選択して無事起動。
Loading eachadea_ggml-vicuna-13b-4bit...
llama.cpp weights detected: models\eachadea_ggml-vicuna-13b-4bit\ggml-vicuna-13b-4bit-rev1.bin
llama_model_load: loading model from 'models\eachadea_ggml-vicuna-13b-4bit\ggml-vicuna-13b-4bit-rev1.bin' - please wait ...
llama_model_load: n_vocab = 32001
llama_model_load: n_ctx = 512
llama_model_load: n_embd = 5120
llama_model_load: n_mult = 256
llama_model_load: n_head = 40
llama_model_load: n_layer = 40
llama_model_load: n_rot = 128
llama_model_load: f16 = 2
llama_model_load: n_ff = 13824
llama_model_load: n_parts = 2
llama_model_load: type = 2
llama_model_load: ggml map size = 7759.84 MB
llama_model_load: ggml ctx size = 101.25 KB
llama_model_load: mem required = 9807.93 MB (+ 3216.00 MB per state)
llama_model_load: loading tensors from 'models\eachadea_ggml-vicuna-13b-4bit\ggml-vicuna-13b-4bit-rev1.bin'
llama_model_load: model size = 7759.40 MB / num tensors = 363
llama_init_from_file: kv self size = 800.00 MB
Loading the extension "gallery"... Ok.
無事読み込まれたみたいなので、会話を実行…
何故か途中で会話が切れてしまいました。
謎です。
vicuna-13Bを試してみる
https://huggingface.co/eachadea/vicuna-13bのモデルを追加して実行してみました。
うちのPCではメモリ不足であまり上手くいきませんでした。
この記事が気に入ったらサポートをしてみませんか?