日本語音声で喋ってくれるローカルLLM:ez-chat-llm
Twitter(X)のポストで流れたきた下記の動画に触発されて、インストールしてみました。かわいいです。WSL2のUbuntuで動いてくれました。
ローカル環境でAIと会話できるソフトウェア、ez-chat-llmを作成し、GitHubで公開しました (続く) pic.twitter.com/zKrfazfmhQ
— offtoung (@offtoung) December 26, 2023
作者さんの解説ページはこちら。
Githubにアップロードされていて、日本語でインストール方法が書かれています。
さくさくとインストール方法にしたがって、無事にWindows10にconda環境を作って、インストールできました。
しかしながら、昨晩の時点では、GPUがみつからないと言われるエラーがでたので、WSL2のubuntuでインストールしましたら、無事に動きました。
素人なので、ダメ元でMacbookProにもトライしましたが、指定されてるpythonのversionではconda環境は作れませんでした。version変えて作ってもそれはやっぱり動きません（汗
でも、WSL2のubuntuでは、とっても簡単に動いてくれました♪
あとは、以下の事項が大事なことでしょう。
「(※1) 会話AIの動作画面等のスクリーンショット・キャプチャ動画の投稿、および会話AIから生成された会話を元ネタとする作品を公開する場合は、「本ソフトウェアの名称 (ez-chat-llm) とつくよみちゃんの名前をクレジットすること」が必須です。また、会話AIから生成された会話を素材として配布、会話AIから生成された会話を使用して新たな会話AIを作成、あるいは会話AIの改変・再配布を行う場合、つくよみちゃん会話AI育成計画の利用規約に従う必要があります。」
それと、main.pyを動かすと、デフォのllmは自動でダウンロードしてくれます。モデルをUIで別のに指定すると、その時点で別なモデルがダウンロードされます。
かわいいのでぜひ試してみてください。
Window 10での再トライ編ー やっぱり私には無理でしたー
今みたら、githubがアップデートされていました。
その指示にしたがって、windows 10 で動くかを以下の手順で実行。
conda remove -n ezllm --allいったん作ったconda 環境を削除。
ローカルに変更をどう反映するか自分にはわからないので、作っておいたez-cchat-llmのdirectoryを削除して、再度 git cloneしてみました。
bigに聞いた削除方法は rmdir /s /q ez-chat-llm でした。
あらたにconda環境を再構築。ez-chat-llmのdirecotry内で以下を実行。
conda env create -f environment.yml conda activate ezllm でcondaを立ち上げてから
pip install transformers bitsandbytes accelerate pyopenjtalk gradio scipy[notice] A new release of pip is available: 23.2.1 -> 23.3.2
[notice] To update, run: python.exe -m pip install --upgrade pip
上のことを言われたので、そのとおりに実行。
やっぱりエラーがでるので、もう一度 Bingと相談したら、まずは以下を実行しろと言われて実行
python.exe -m pip install setuptoolsやっぱりエラーとなるので、terminalを管理者権限で実行しろと言われたので、管理者権限で開いて、conda環境を立ち上げて、実行したら通りました。再度、下記をトライ。
pip install transformers bitsandbytes accelerate pyopenjtalk gradio scipyまたエラー。condaのpythonを確認したら、3.12.1になっていて、environment.ymlにしていしてある 3.8.5になってませんでした。
conda環境を削除して、再度つくりなおしたところ、ちゃんと表示をみたら、こんな感じでした。
D:\ezllm\ez-chat-llm>conda env create -f environment.yml
Channels:
- defaults
- conda-forge
Platform: win-64
Collecting package metadata (repodata.json): done
Solving environment: failed
PackagesNotFoundError: The following packages are not available from current channels:
- _openmp_mutex==5.1=1_gnu
- ca-certificates==2023.12.12=h06a4308_0
- ld_impl_linux-64==2.38=h1181459_1
- libffi==3.3=he6710b0_2
- libgcc-ng==11.2.0=h1234567_1
- libgomp==11.2.0=h1234567_1
- libstdcxx-ng==11.2.0=h1234567_1
- ncurses==6.4=h6a678d5_0
- openssl==1.1.1w=h7f8727e_0
- pip==23.3.1=py38h06a4308_0
- python==3.8.5=h7579374_1
- readline==8.2=h5eee18b_0
- setuptools==68.2.2=py38h06a4308_0
- sqlite==3.41.2=h5eee18b_0
- tk==8.6.12=h1ccaba5_0
- wheel==0.41.2=py38h06a4308_0
- xz==5.4.5=h5eee18b_0
- zlib==1.2.13=h5eee18b_0
Current channels:
- https://repo.anaconda.com/pkgs/main/win-64
- https://repo.anaconda.com/pkgs/r/win-64
- https://repo.anaconda.com/pkgs/msys2/win-64
- https://conda.anaconda.org/conda-forge/win-64
To search for alternate channels that may provide the conda package you're
looking for, navigate to
https://anaconda.org
and use the search bar at the top of the page.
なんか上手くいかないようで、ここで私は挫折しました（汗
conda activate ezllmで立ち上がってるようですが、conda infoo -e では、ezllmのcondaは見つかりません。不思議です。
#AI #AIとやってみた #やってみた #ローカルLLM #大規模自然言語モデル
いいなと思ったら応援しよう！
