Gpt-3.5-turboレベルのLLMをローカルマシンで！　Vicuna-13b-v1.1を試す。

2023年4月14日 21:37

By Papermaker - Own work, CC BY-SA 4.0, https://commons.wikimedia.org/w/index.php?curid=71995777

Vicunaは、ShareGPTから収集されたユーザー共有会話でLLaMAを微調整することによって訓練されたオープンソースのチャットボットです。バージョンがv0からv1.1になったことで、教師あり微調整損失の計算を修正してモデル品質を向上させたとのことです。

手順

手元のLLaMa-13Bの重みファイル（拡張子.pthなど）をHugging Face形式に変換する。https://huggingface.co/docs/transformers/main/model_doc/llama

python src/transformers/models/llama/convert_llama_weights_to_hf.py \
    --input_dir /path/to/downloaded/llama/weights --model_size 7B --output_dir /output/path

LLaMAからVicunaへの差分ファイル（デルタウェイト）を取得して、Vicunaの重みを作成する。
https://github.com/lm-sys/FastChat
※モデルサイズ13Bの場合、変換には約60GBのCPUメモリが必要。

python3 -m fastchat.model.apply_delta \
    --base /path/to/llama-13b \
    --target /output/path/to/vicuna-13b \
    --delta lmsys/vicuna-13b-delta-v1.1

text-generation-webuiはwindows版であれば、ワンクリックでインストールができて超らくちん。
https://github.com/oobabooga/text-generation-webui
完成したウェイトファイルはフォルダーごとtext-generation-webuiのmodelsフォルダーにコピーする。
あとは、start-webui.batをダブルクリックしたら、さくっとウェブサービスが起動します。当方の環境、RTX3090(VRAM 24GB)の場合、WebUIのModelタブのload-in-8bitをチェックいれてVRAMの消費は14GB程度でした。もうちょっと小さくなったらRTX3060あたりでも動きそう。