「Text generation web UI」で無敵ローカルAIのchat環境を手に入れようと思ったけどCAさんが作ったモデルが遊び心がありすぎるAIで結局なごんで終わった件
Stable DiffusionやらComfyUIやらを導入して、ＰＣの生成ＡＩの環境がそろってきました。
だいぶ快適なクリエイター生活を送れるようになってきて欲が出てきちゃったんでしょうね、ChatGPT的なやつもローカルでサクッとできるといいよね～とか思っちゃったために「Text generation web UI」を試しにインストールした記録を残しておきます。
今回参考にさせていただいたのは下記の清水理史の「イニシャルB」さんの記事です！
結論から言いますと、めちゃくちゃに簡単に、しかも快適にローカルで言語モデルを動かせるようになってやばいなってなりました。
大規模言語モデル用の Gradio Web UI。
その目標は、テキスト生成のAUTOMATIC1111/stable-diffusion-webuiになることです。
英語を翻訳
開いた瞬間、その宣言通りと思いましたね。
使用感は完全にA1111のそれです。なので超使いやすい。
なんなら毎日のように触っているwebUIライクなUIです。使いにくいわけがない。
ちなみに、最初にした会話がこれなんですが、あまりに癖が強すぎて笑いました。
モデルはサイバーエージェントさんが作ったcyberagent/open-calm-7bさんです。
なお、インストール時に記事にかいてないところで一点だけ躓いたところがあったので共有します。
記事にそって進めていくのですが、cyberagent/open-calm-7bをインストールしてLoadするときにエラーがでて下記のような表示になります。
ValueError: Tokenizer class GPTNeoXTokenizer does not exist or is not currently imported.GPTNeoXTokenizerってなんじゃらほい？な感じで少し調べましたが、結局超単純にこのチェックボックスにチェックつけることで解決しました。
今回、記事に沿って入れたサイバーエージェントさんのopen-calm-7bさんと会話してますが、この子がどうも色々おかしいです。
サイバーエージェントさんの遊び心に完敗（乾杯）です。
当社が開発した「独自の日本語LLM」である32,000トークン対応の商用利用可能なチャットモデルを一般公開いたしました。
— サイバーエージェント 広報＆IR (@CyberAgent_PR) November 2, 2023
今後もモデル公開や産学連携を通し、国内における自然言語処理技術の発展に貢献してまいります。https://t.co/6Jc7KYYjBL
（これ、しかも商用利用もOKなのね…？！）
最強のローカルchat環境を！！と意気込んで「Text generation web UI」の設定をはじめましたが、思っていたよりもだいぶファニーなopen-calm-7bさんのおかげでなごんで終わりました。
ほかのモデルなどもちょっとずつ試していきたいと思います！
今日はここまで！！（会話が楽しかったからよし！）
この記事が気に入ったらサポートをしてみませんか？