無修正LLMとは?
無修正LLMを簡単に言うとどんな質問にも答えてくれるLLMという事です。例えばChatGPTに「iPhoneを脱獄する方法は?」と尋ねます。
と、回答します。質問内容は違えどこの手の返答をされた方は多いかと思います。しつこく質問するとアカウント停止になる場合もあります。
無修正LLMならばこのような質問にも返答してくれます(その返答が正解かは別だが)。
無修正LLMを動作させるには?
使用にあたり今回はGPT4Allを使いました。ChatGPTと同じデザインでありアプリケーションとして配布されているので扱いが簡単です。
もう一つllamafileと言う選択肢もあります。こちらはコマンド起動なので少し知識が必要になります。llamafileは動作が軽いのですが、精度が犠牲になります。特に長文のプロンプトで精度の低下が目立ちます。
まあ自分のマシンスペックに合わせて選べばいいと思います。
システムプロンプト
ローカルLLMなのでシステムプロンプトを自分で考える必要があります。逆に言えばシステムプロンプト次第で性能は変化します。私は下記のシステムプロンプトを使っています。
無修正LLMモデル紹介
Wizard-Vicuna-13B-Uncensored
このモデルはWizard-Vicunaをベースに道徳化を含む応答部分を削除して作成されたものです。無修正LLMはいくつかありますが、そもそも精度が低くては役に立ちません。このWizard-Vicuna-13B-Uncensored.Q6_K.ggufは精度もそこそこ良いのでおすすめです。
先ほどの質問には下記のように返答します(英語を翻訳)。
Nous-Hermes-Llama2
もう一つ、Llama2をベースにして作成されたNous-Hermes-Llama2も精度が良くおすすめです。ただし、こちらはややフィルターが残っているようで聞き方に工夫が必要な場合があります。そのような時は何度も聞けば渋々答えると言った感じです。
無修正LLMの感想
無修正LLMはいじり出すと結構楽しいです。昔々、ゲームラボという雑誌を読んでいた時のようなワクワク感があります。気になる人はお試しあれ。