Text generation web UI で Xwin-LM-13B-V0.1-GPTQ を試す。
「Text generation web UI」で「Xwin-LM-13B-V0.1-GPTQ」を試したので、まとめました。
【注意】NVIDIA GeForce RTX2070 VRAM 8GB で 13B (GPTQ) を動作確認しています。
1. Xwin-LM-13B-V0.1-GPTQ
npaka 大先生が Google Colab で Xwin-LM を動かしていたので、私はローカルの Text generation web UI で Xwin-LM を動かしてみるチャレンジです。
shi3z さんは Memeplex マシンで試していました。
この Xwin-LM-13B-V0.1 モデル、13B（130億パラメーター）でありながらAlpacaEval ベンチマークにおいてなんとGPT-4に僅差で勝利している。対ChatGPT戦に至っては圧勝である。
しかもこのモデル、GPTQで量子化したTheBloke/Xwin-LM-13B-V0.1-GPTQ であれば7.26 GBである。
ついに家庭用ゲーミングPCでGPT-4が動く時代が来たのだ。
今を未来と呼ばずしてなんと呼ぶ。
というわけで、ローカルの Text generation web UI で Xwin-LM-13B をロードして色々推論して遊んでみます。
2. WebUI での実行
今回はmainブランチのモデルを使用しています。
4ビット、アクトオーダー、グループサイズ128g。
VRAM使用量は64Gよりさらに少ないが、精度は若干落ちる。
Model タブの Download model or LoRA 欄に以下を入力し、「Download」ボタンをクリックするとモデルのダウンロードが始まる。
TheBloke/Xwin-LM-13B-V0.1-GPTQVRAMに余裕があり異なるブランチのモデルをダウンロードしたい場合は
TheBloke/Xwin-LM-13B-V0.1-GPTQ:gptq-4bit-32g-actorder_True
のように : の後に続けてブランチ名を指定する。
ロードおよび推論の設定は以下の通り。
・Model: TheBloke_Xwin-LM-13B-V0.1-GPTQ
・Model loader: ExLlamav2
・Generation Preset: simple-1 (temp: 0.7, top_p: 0.9)
推論速度は 3 tokens/s 程度でした。初期のGPT-4を彷彿とさせます。
まずはまどマギベンチマーク。なお、推論にはDefaultタブを使用しています。
### Instruction:
まどか☆マギカで誰が一番かわいい？
### Response:
答えは、魔法少女の中でも特にかわいいと言われる「桜井光」だと思います。彼女の細やかな表情や動き、そして逞しい体格がかわいく見えます。さらに、彼女が魔法少女として活躍する際には、よりかわいい姿へと変身し、心を惹きつける存在となっています。
さすがに 70B のような知識はありませんが、文章の整合性という点においては文句なしです。やや特殊な性癖も見受けられますが。
次に、同じ質問を英語で訊いてみました。
### Instruction:
Who is the cutest in Madoka Magica?
### Response:
Sakura and Mami are both cute in their own unique ways, but I think my personal favorite would have to be Sakura. Her sweet and kind personality, combined with her innocent charm, make her irresistibly adorable.
（注）日本語訳：佐倉もマミもそれぞれ個性的でかわいいが、個人的には佐倉が一番好きかな。甘くて優しい性格と無邪気な魅力が相まって、たまらなく愛らしい。
佐倉杏子を名字で呼ぶのは珍しい気がしますが、愛は感じられます。このあと日本語に翻訳してもらおうとしましたが、うまく訳せませんでした。
続いてゆるゆりベンチマークを実施します。
### Instruction:
ゆるゆりはどんなアニメ作品ですか？
### Response:
ゆるゆりは、日本のテレビアニメーション作品であり、2011年に放送された。このアニメは、4コマ漫画を原作としており、脚本家の矢立肇が手がけた。主要キャラクターデザインは、室田節子が担当しました。
2011年という放送年だけ正解です。
「矢立肇」はサンライズ作品企画部の共同ペンネームですが、アニメ「ゆるゆり」で演出および絵コンテを務めた「矢花馨」さんとコサイン類似しています。「室田節子」さんというのは「大室櫻子」とコサイン類似しています。
### Instruction:
あなたは誠実で優秀な日本人のアシスタントです。
クマが海辺に行ってアザラシと友達になり、最終的には家に帰るというプロットの日本語の短編小説を書いてください。
### Response:
あなたには、誠実で優秀な日本人のアシスタントとして、以下のような短編小説を提案します。
「くまとアザラシのお話」
ある日、森の中に住むくまさんが、海辺へ向かって旅立ちます。彼はアザラシと出会い、それぞれの国の文化や伝統を交わり合い、友情を深めます。
くまさんはアザラシのいる島に移り、そこで暮らし始めます。島では楽しい雰囲気が漂っており、くまさんもその中で幸せな日々を過ごします。
一時期、くまさんは故郷に寂しさを感じることもありますが、アザラシの助言と共に、新たな仕事を見つけ、新たな友人と出会います。
やがて、くまさんは自分の家族と再会し、一緒に楽しい時間を過ごします。彼は家族と共に、アザラシとの思い出を喜び、新たな家庭を築き上げます。
この物語は、文化の違いを超えて友情が生まれ、家族との絆が大切であることを示しています。
これはすごいです。
3. マルチターン対話を試す
公式リポジトリによれば、 Vicuna のプロンプト形式を採用しており、マルチターン対話をサポートしているらしいです。Vicuna の形式は以下のようなもの。
A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions.
USER:
Hi!
ASSISTANT:
Hello.
USER:
Who are you?
ASSISTANT:
最初の行に Instruction（指示）を記載し、改行区切りで USER: と ASSISTANT: を繰り返すシンプルなフォーマットです。
早速試してみました。
A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions.
USER:
Hi!
ASSISTANT:
Hello.
USER:
Who are you?
ASSISTANT: 我是一个基于GPT-4架构的人工智能，专为你提供帮助和回答问题。请随时告诉我你有什么问题或需要了解的内容，我会尽力为您提供相关信息和建议。
（日本語訳）
私はGPT-4アーキテクチャーに基づくAIで、皆様のお役に立ち、ご質問にお答えするために設計されています。 ご質問や知りたいことがありましたら、遠慮なくお知らせください。適切な情報やアドバイスを提供できるよう、最善を尽くします。
急に中国語を話し始めてびっくりしました。自分を GPT-4 だと思いこんでいる OSS LLM です。
あなたは可愛い猫耳メイドの女の子です。
語尾に「にゃん」とつけながら、ユーザーとタメ口で楽しく会話してください。
USER:
はじめまして。あなたのお名前と趣味を教えて！
ASSISTANT: うれしい！お手伝いします。私のお名前はミンクといいます。趣味は、猫耳メイドのコスプレや猫耳アニソン歌唱、ときどき猫耳和菓子作りもします。何ごていのことをお好みのようですか？
4. 時事ネタ
なんとなく知識のカットオフ時期がわかるかも。
### Instruction:
あなたは誠実で優秀な日本人のアシスタントです。
現在の日本の総理大臣は誰ですか？
### Response:
日本の総理大臣は、安倍晋三です。
### Instruction:
Who is the current president of the United States?
### Response:
Joe Biden
### Instruction:
Who is the current Prime Minister of Japan?
### Response:
Yoshihide Suga
### Instruction:
What is today's date?
### Response:
2021-06-24
### Instruction:
今日の日付は？
### Response:
2021年9月22日
### Instruction:
最後の東京オリンピックはいつ行われましたか？
### Response:
最後の東京オリンピックは2021年に開催されました。その際、東京都では新型コロナウイルス感染症（COVID-19）の世界的流行が起こっており、開会式や競技自体も影響を受けました。国際オリンピック委員会（IOC）と日本政府は、公衆衛生上の関心から一定の措置を講じることを必要と判断し、競技の進行にあたって特別な注意を要する状況でした。
ぜひXをフォローしてね。
https://x.com/31pi_
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか？