JanでローカルLLMを動かす方法
今回は、JanでローカルLLMを動かす方法を紹介します。Jan.aiはオープンソースのプロジェクトで、プライバシーを重視したChatGPTの代替として設計されています
インストール方法
上記ページを開いたら、"Download for Windows"をクリックします。
ダウンロードが終わりましたら、ダウンロードしたexeファイルをクリックします。インストールが開始されます。
ダウンロードが完了すると、次の画面が出てきます。
最初に、ローカルLLMのモデルを選択しますので、左上の□が4つあるところをクリックします。
今回は、Llama 3.2 1B Instruct Q8をダウンロードしてみます。一番最初に記載のモデルLlama 3.2 1B Instruct Q8のDownloadをクリックします。
ダウンロードが始まると、ダウンロードの進捗状況がわかります。
ダウンロードが完了すると、"Use"と表示されますので、クリックします。
プロンプトの入力画面が表示されます。今回は、自己紹介してを英語で、Do you introduce yourself?と入力します。
矢印をクリックするとローカルLLMがJanで実行されます。
これで簡単な使い方の紹介は終わりです。
プラットフォーマのAPI Keyの使い方
Janには、OpenAIやGroqなどのプラットフォーマのAPIを利用する機能もあります。
使い方は、左画面の一番下の鍵マークをクリックします。
例えば、Groqを使いたいなら、Model ProviderのところのGroqをクリックします。
GroqのAPI Keyを入力する画面が右上に出ていますので、GroqのAPI Keyを入力します。
次に、左側に□が4つあるところをクリックして、Groqを見つけて、"Use"をクリックします。
今回は、Groq Llama 3 70bの"Use"をクリックします。
そうすると、Groq Llama 3 70bのモデルで、Promptを入力する画面が出てきましたので、Groq Llama 3 70bをGroqのAPI Key経由で使用することが可能となります。
JanでローカルLLMを動かしAPIサーバとして使用する方法
左側の一番下から2つ目の□をクリックします。中に<>と記載されています。
上記のStart Serverをクリックすると使用が可能になります。使用方法はいまいちわからない部分があるので割愛します。