![見出し画像](https://assets.st-note.com/production/uploads/images/125175279/rectangle_large_type_2_72c7cfdf9cb8c479606c8c5508086ecf.png?width=1200)
再チャレンジ:text generation web uiをMacbookProにインストール
戻ってきたMacbookProにインストールの再チャレンジです。
以前の試行錯誤は下記。
上の試行錯誤を踏まえて、今回はスムーズにインストールできました。
まずは、下記の記事に書いたようにconda環境が作れるようにしておきます。
私自身の好みで、conda環境のインストール先を、ホームフォルダーの直下のAIという名前のdirectoryに作っていくように設定しています。
さて、またtext generation web uiのインストール方法を確認し、マニュアルインストールをしていきました。
以下のコマンドを実行することで、(私の場合)AI directoryの下に、textgenというフォルダーにconda環境がセットアップされます。
conda create -n textgen python=3.11
そして、textgenというconda環境を立ち上げ。
conda activate textgen
Mac用のPytorchというパッケージをインストール。
pip3 install torch torchvision torchaudio
textgenというフォルダーの下に、必要なファイルをダウンロドするために、cd コマンドで、移動、 cd ~/AI/textgen (私の場合)。。
そして、git cloneというコマンドで、textgenのしたに、text-generation-webuiというdirectoryを作成して、必要なファイルをそこにダウンロード
conda環境のdirectoryと分けるべきだとGPT-4に教わりましたので、conda環境のdirectoryの下につくらないほうがいいようです。
git clone https://github.com/oobabooga/text-generation-webui
そして、そのdirectoryへ移動。
cd text-generation-webui
apple silicon用のrequirementを実行。
pip install -r requirements_apple_silicon.txt
それから、conda環境の状態で、text-generation-webuiのdirectory内で、下記を実行することで、text generation webuiが動きました。
python server.py
コンソール画面に表示されているlocalのurlをブラウザにコピペすると、ブラウザに、UIが表示されて使えるようになりました。
メモ
たまに以下の作業して、requirements_apple_silicon.txtアップデートしてくださいということらしいです。
conda activate textgen
cd text-generation-webui
pip install -r requirements_apple_silicon.txt --upgrade
このメモの実行はまだ試していません。
さて、最初に試したモデルは下記です。
量子化されてないオリジナルモデル。
loaderはtransformerで、何もチェックをいれなかったら、無事にロードされました。
オリジナルモデルは、インストラクションテンプレートも同時にloadされるみたいです。
指示に従って、chat画面で、chat-instructionのボタンにチェックをいれて対話をしたら、ちゃんと対話できました。
このモデルは、日本語でも破綻なくやり取りできるのですごいと思っています。
量子化されていないモデルなのか、なにかtransformerでチェックをいれたらいいのかわかりませんが、生成速度はかなりもっさりでした。
以上、再度、MacbookProにtext generation webuiをインストールできました。覚え書き記事でした。
いいなと思ったら応援しよう!
![Lucas](https://assets.st-note.com/production/uploads/images/107879020/profile_1a18442658444d51682a0e9f99ec2cbd.jpeg?width=600&crop=1:1,smart)