「Classifier-Free Guidance (CFG)」が、Transformers&Exllamaに実装され、text-generation-webUIでもサポートされたとのこと。これに伴い、画像生成AIでよく使われる「ネガティブプロンプト」も使用可能になった。
WebUI開発者のoobabooga氏が下記の投稿で報告している。
CFG&ネガティブプロンプトの使用例
oobabooga氏の示すネガティブプロンプトの使用例は以下の通り。
なおこの出力例では、モデルに「Vicuna-33b-v1.3-4bit-128g」を使っているとのこと。
Google Colabで試す
自分でもColabで試してみた。今のところTransformersとExllamaのみの対応らしいので、Exllamaをローダーに指定する。
モデルは「Vicuna 13B v1.5」のGPTQを使ってみる(33BのGPTQモデルは標準GPUだと動かせないはず)。
以下のとおり、最新のWebUIをインストールして起動。
!git clone https:
%cd text-generation-webui
!pip install -r requirements.txt
!python download-model.py TheBloke/vicuna-13B-v1.5-GPTQ
!python server.py --model TheBloke_vicuna-13B-v1.5-GPTQ --chat --share --loader exllama
感想
oobabooga氏のサンプル(「Vicuna-33B-v1.3」での実行例)とは少し異なり、「Vicuna-13B-v1.5」では、CFG=2まで上げるとようやく意図した粗暴な回答が得られた(でも物語の結末は良識的)。
なお、同じプロンプトを全て日本語に変えて試すと、ネガティブプロンプトの効果は一応あるものの、出力が英語に変わってしまう現象が見られた(もちろん他の13Bモデルでも同じかどうかは不明)。
参考