text-generation-webuiで、ELYZA-japanese-Llama-2-7n-fast-instructをExLlamaでロードし、LoRA適用してみる

text-generation-webuiで、ELYZA-japanese-Llama-2-7n-fast-instructをExLlamaでロードし、LoRA適用してみます。

Exllamaでモデルをロードするために、以下のGPTQモデルをお借りします。

dahara1/ELYZA-japanese-Llama-2-7b-fast-instruct-GPTQ · Hugging Face

Download model or LoRA画面にdahara1/ELYZA-japanese-Llama-2-7b-fast-instruct-GPTQと入力しDownloadします。

Model loaderはExLlama_HFを利用します。

ローダーはもちろんTransformerでもいいのですが、生成に非常に時間がかかるのでオススメしません。また、GGUF版はエラーがでてLoRAを読み込むことができませんでした。

新しく登場したローダーであるExLlamav2_HFはエラーが出て使用できませんでした。残念。

正常にロードできたら、LoRAを適用します。

LoRAは以下の手順で作成しました。

LoRAをtext-generation-webui/loras/に配置します（本体はadapter_model.binとadopter_config.json）。

ModelタブのLoRA(s)から、🔄ボタンでリストを更新し、プルダウンで選び、Apply LoRAsでモデルにLoRAをアタッチします。

Successfuly applied the LoRAsと表示されたら成功です。

もしLoRAが微妙だったら、LoRA Rank等の設定を見直して、再度作り直してみましょう。

Xのフォローをお願いします。
https://twitter.com/31pi_