Windows Server上でLocal LLMを使ってみた
はじめに
少々調べ物をしていたら、Windows Server上でLocal LLMを簡単に使えるアプリケーションがあることがわかったので、実際に試してみました。備忘録もかねて、以下に手順を書いておこうと思います。
環境
ハードウェアとOS
仮想マシンになりますが、使っていないWindows Server 2022 Standard Editionが入ったサーバーがあるので、こちらを使うことにしました。
仮想マシンのHWスペックは以下の通りです。
・CPU 4vCPU
・メモリ 24GBメモリ
・ディスク 300GB
生成AI用のサーバーではGPUを利用するのが一般的なのでしょうけど、そんなものは搭載されていない仮想化環境上の仮想マシンでとりあえず動けばいいや、と思って試しているのでハードウェアスペックは適当です。
使用したアプリケーション
Janというアプリケーションをインストールしました。オープンソースでWindows版、Mac OS版、Linux版と幅広く提供されています。
導入・設定
導入手順は以下に記載しますが、非常に簡単です。
まずはJan.aiのWebサイトからインストーラーをダウンロードします。
私が使用したのはv0.5.4というバージョンになりますが、exeファイルを実行してインストールを開始します。インストール時に必要なパラメータは特になくexeを実行して完了するまで待てばいいです。
インストールが完了すると以下のような画面が立ち上がります。
画面左端にある四角が4つ集まったボタンを押します。
ダウンロードができるLLMが表示されるので、使いたいLLMを選択します。ハードウェアリソースが足りていないと、以下の画面でも見て取れるようにNot enough RAMのようにリソースが足りていないというメッセージが出てきます。Recommendedと表示されているものを選んで、Downloadボタンを押しましょう。私はMetaが提供しているLlama 3.1 8Bを選択してみました。
ダウンロードが完了するとUseと表示されます。画面左下にあるギアのボタンをクリックします。
DownloadしたLLMが表示されているので、画面右端のお団子のようなボタンをクリックし、Stard Modelをクリックします。
Success!と表示されて、ステータスがActiveになったらOKです。
画面左端の吹き出しマークを押します。
チャットのUIに画面が切り替わります。
画面右端にあるModelというタブを押して、Llamaを選択します。
画面下にあるAsk me anythingの箇所でチャットをします。試しに日本語で、東京のおすすめ観光スポットについて聞いてみました。ご覧のようにちゃんと日本語で返事をしてくれますね。
日本語の質問に対して英語で返事をしてくれるかを試してみました。こちらもうまくいったようです。
以上がJanを使ったLocal LLMの使い方になります。
RAGは使える？
Janの持つ機能でRAGが使えるという記載があったので、こちらをちょっと試してみました。ファイルを読み込ませるとRAGを使用してPDFファイルに書かれた内容を元にチャットができるそうなので、それを試してみました。
画面左下のギアのアイコンを押して設定画面を表示し、Advanced Settingをクリックします。
表示されたメニューからExperimental Modeを有効化します。
チャットの画面に戻ると、画面右側のタブにAssistantというタブが増えています。この状態でAsk me anythingの箇所の左にあるクリップのマークのボタンを押して、Documentを選択します。
私はあらかじめ用意したPDFファイルに以下のようなことを記載しておきました。おすすめされそうではありますけど、上位にはランクインしないであろう観光スポットをあえて記載してみました。
改めて東京のおすすめ観光スポットについて質問してみました。
どうやらPDFの内容を元にチャットができているようですね。
他にもファイルを読み込ませながらちょっと試行錯誤してみましたが、情報量が多いと期待した通りの回答をしてもらえず、いわゆるハルシネーションが起きてしまっていました。おそらく各種の設定パラメータをいじれば、より精度の高い回答を得られるのかもしれませんが、パラメータの意味を理解できていないこともあり、今回チューニングまではあきらめました。
おわりに
ちょっとお試し程度で試しただけなので大した内容ではないですが、手軽にAIの一端に触れることができたのはよかったです。特に非クラウド環境だと自分で何をどう触ればいいのかが分からない方も多いと思いますし、こういう簡単に触れるアプリケーションがあるのはありがたい話ではないかと思います。
今後もAIな分野には触れていきつつ、また記事を書こうと思います。